كيفية عمل مدقق وكيل في بايثون

البروكسيات هي الأدوات البسيطة التي يمكنك استخدامها لتجميع بياناتك من الويب وتعزيز أعمالك دون الخوف من الحجب أو الحظر. البروكسي هو وسيط بين حاسوبك والموقع الإلكتروني الذي تزوره. يمكن أن يتعرف عليك موقع الويب من خلال عنوان بروتوكول الإنترنت (IP) الخاص بك عندما لا تستخدم بروكسي

البروكسيات هي الأدوات البسيطة التي يمكنك استخدامها لتجميع بياناتك من الويب وتعزيز أعمالك دون الخوف من الحجب أو الحظر. البروكسي هو وسيط بين حاسوبك والموقع الإلكتروني الذي تزوره. يمكن أن يتعرف عليك موقع الويب من خلال عنوان بروتوكول الإنترنت (IP) الخاص بك عندما لا تستخدم خادم وكيل. يضيف استخدام البروكسي طبقة إضافية بين حاسوبك والموقع الإلكتروني. أولاً، تقوم بالاتصال بالخادم الوكيل الذي يخفي عنوان IP الخاص بك ويعرض عنواناً مختلفاً على الموقع الإلكتروني. 

بعض حالات استخدام الوكلاء على نطاق واسع هي:

• الأمن
• الخصوصية
• السرعة
• تحديد الموقع الجغرافي
• تجميع البيانات

بعض البروكسيات لا تعمل بسبب عدة قيود. عند محاولة الاتصال بالإنترنت، تظهر لك رسالة انتهاء المهلة. وذلك لأن البروكسيات إما بطيئة جداً أو غير موجودة. هنا تأتي الحاجة إلى مدقق البروكسي. يمكنك توفير الوقت باستخدام أداة فحص البروكسي لاختبار البروكسيات. فهو يساعدك على فحص البروكسيات بكميات كبيرة. عندما تستخدم وكلاء مجانيين، يجب أن تعرف أنهم يغلقون دون اختيار لحظة. لذلك، عليك أن تبقي مدقق الوكيل في متناول يدك. سيتعين عليك استخدامه يوميًا للتحقق من الوكلاء الذين يعملون. 

جدول المحتويات

• نصائح لاستخدام مدقق البروكسي
• كيفية عمل مدقق وكيل في بايثون مكتبات الاستيرادقراءة قائمة عناوين IP الخاصة بالوكيلتعريف الدالة
• مكتبات الاستيراد
• قراءة قائمة عناوين IP الخاصة بالوكيل
• تعريف الدالة
• استخدامات المدقق الوكيل
• ما هو أفضل وكيل HTTP على الإنترنت؟
• الأسئلة الشائعة:
• الخاتمة

نصائح لاستخدام مدقق البروكسي

فيما يلي بعض النصائح التي تحتاج إلى اتباعها لاستخدام مدقق البروكسي. 

• التحقق من الموقع الجغرافي - من الضروري التحقق من الموقع الجغرافي لأنك إذا اخترت بروكسي من مكان معروف بالهجمات الإلكترونية، ستواجه صعوبة في الوصول إلى المحتوى المطلوب. قد يتم حظرك وتضطر للانتقال إلى الوكيل التالي في قائمتك. 

• تحقق من السرعة - يستخدم معظم الناس مدققي البروكسي للعثور على البروكسيات العاملة. إنه أمر ضروري، لكنك تحتاج أيضًا إلى النظر في سرعة مدقق البروكسي. بعض البروكسيات تعمل بشكل جيد ولكنها بطيئة بشكل لا يصدق. لذلك، يجب أن تقضي معظم وقتك على الإنترنت في انتظار الاتصالات. 

كيفية عمل مدقق وكيل في بايثون

دعونا نرى كيف يمكننا إنشاء مدقق وكيل في Python بمساعدة الخطوات التالية.

مكتبات الاستيراد

تحتاج إلى استيراد المكتبتين التاليتين أي,

• طلب urllib.request
• المقبس

استيراد urllib.request، المقبس
socket.setdefaulttimetimeout(180)

هنا، تحدد الوحدة النمطية urllib.request الفئات والدوال التي تساعد في فتح عناوين URL في العالم المعقد. يمكن أن تكون عناوين URL إما سلسلة أو كائن طلب. 

من ناحية أخرى، يساعد المقبس في توصيل عقدتين على الشبكة للتواصل مع بعضهما البعض. يمكنك استيراد مكتبة المقابس وإنشاء مقبس بسيط وبدء اتصال ثنائي الاتجاه. يضبط Setdefaulttimetimeout() المهلة الافتراضية للمآخذ الجديدة. 

قراءة قائمة عناوين IP الخاصة بالوكيل

يجب عليك قراءة قائمة IP الوكيل في proxyList كما هو موضح أدناه.

proxyList = ['140.82.61.218:8080']

يمثل سطر التعليمات البرمجية أعلاه نموذجاً لعنوان IP الوكيل.

تعريف الدالة

للتحقق مما إذا كانت وكلائك يعملون أم لا، عليك تحديد دالة كما هو موضح أدناه.

def is_bad_proxy(pip):    
    try:        
        proxy_handler = urllib.request.ProxyHandler({'http': pip})        
        opener = urllib.request.build_opener(proxy_handler)
        opener.addheaders = [('User-agent', 'Mozilla/5.0')]
        urllib.request.install_opener(opener)        
        sock=urllib.request.urlopen('http://www.google.com')  
    except urllib.error.HTTPError as e:        
        print('Error code: ', e.code)
        return e.code
    except Exception as detail:

        print( "ERROR:", detail)
        return 1
    return 0

هنا,

• يتسبب برنامج urllib.request.ProxyHandler في مرور الطلبات عبر وكيل. 
• يُرجع ullib.request.request.build_opener مثيلًا يسلسل المعالجات بالترتيب المُعطى.
• addheaders هي خاصية من خصائص urllib.opener()، ونحتاج إلى تغيير قيمتها إلى وكيل مستخدم مقبول لخداع الموقع الذي نزوره.
• يقوم ullib.request.install_opener بتثبيت مثيل OpenerDirector كفتاحة عامة افتراضية. من الضروري تثبيت الفتاحة إذا كنت تريد أن يستخدم urlopen تلك الفتاحة. خلاف ذلك، عليك استدعاء OpenerDirector.open() بدلاً من urlopen(). 

بالنسبة للعنصر في proxyList:
   إذا كان_وكيل_سيء(عنصر):
        طباعة ("وكيل سيء"، العنصر)
   غير ذلك
        طباعة(العنصر، "يعمل")

تكتشف الدالة is_bad_proxy() البروكسيات العاملة في قائمة IP الوكيل.

في التعليمة البرمجية أعلاه، تكرر حلقة التكرار على قائمة البروكسي. نحصل على نتيجة "وكيل سيء" إذا كان الوكيل لا يعمل. 

استخدامات المدقق الوكيل

هناك العديد من الاستخدامات لمدقق البروكسي. وفيما يلي بعض منها.

• تستخدم جدران الحماية أداة فحص البروكسي لضمان عدم الكشف عن هويتها النسبية قبل البحث عن المعلومات المحظورة على الإنترنت.

• يمكن لشخص مثل مدير المدرسة استخدام مدقق البروكسي للتأكد من أن خوادم الشبكة تعمل بشكل طبيعي. كما يمكنه استخدامه لمراقبة التلاميذ الذين يحاولون تجاوز قيود جدار الحماية.

• تستخدم مواقع التجارة الإلكترونية ووسائل الإعلام وشركات البث برامج التحقق من البروكسي للتحكم في الاستخدام الجغرافي لخدماتها من أجل استهداف أفضل لحملاتها الإعلانية.

• تحمي أدوات فحص البروكسي مواقع التجارة الإلكترونية من طلبات الاحتيال وطلبات البيانات الاحتيالية.

• تعتبر أدوات فحص البروكسي أو الماسحات الضوئية هي خط الدفاع الافتراضي الأمامي ضد قراصنة البيانات الذين يحاولون استخدام طرق جديدة لتجاوز إجراءات أمن الإنترنت.

ما هو أفضل وكيل HTTP على الإنترنت؟

ProxyScrape هي واحدة من أشهر مقدمي خدمات البروكسي وأكثرها موثوقية على الإنترنت. هناك ثلاث خدمات بروكسي تشمل خوادم بروكسي مخصصة لمراكز البيانات، وخوادم بروكسي سكنية، وخوادم بروكسي متميزة. إذن، ما هو أفضل حل ممكن لأفضل وكيل HTTP؟ قبل الإجابة على هذا السؤال، من الأفضل الاطلاع على ميزات كل خادم وكيل.

البروكسي المخصص لمركز البيانات هو الأنسب للمهام عالية السرعة عبر الإنترنت، مثل بث كميات كبيرة من البيانات (من حيث الحجم) من خوادم مختلفة لأغراض التحليل. وهو أحد الأسباب الرئيسية التي تجعل المؤسسات تختار البروكسي المخصص لنقل كميات كبيرة من البيانات في فترة زمنية قصيرة.

يحتوي وكيل مركز البيانات المخصص على العديد من الميزات، مثل النطاق الترددي غير المحدود والاتصالات المتزامنة، ووكلاء HTTP المخصصين لسهولة الاتصال، ومصادقة IP لمزيد من الأمان. مع وقت تشغيل بنسبة 99.9%، يمكنك أن تطمئن إلى أن مركز البيانات المخصص سيعمل دائمًا خلال أي جلسة. وأخيراً وليس آخراً، يقدم ProxyScrape خدمة عملاء ممتازة وسيساعدك على حل مشكلتك خلال 24-48 ساعة عمل. 

التالي هو الوكيل السكني. السكني هو الوكيل المفضل لكل مستهلك عام. السبب الرئيسي هو أن عنوان IP الخاص بالوكيل السكني يشبه عنوان IP الذي يوفره مزود خدمة الإنترنت. وهذا يعني أن الحصول على إذن من الخادم المستهدف للوصول إلى بياناته سيكون أسهل من المعتاد. 

الميزة الأخرى في البروكسي السكني ProxyScrapeهي خاصية البروكسي الدوار. يساعدك البروكسي الدوّار على تجنب الحظر الدائم على حسابك لأن البروكسي السكني يغير عنوان IP الخاص بك ديناميكيًا، مما يجعل من الصعب على الخادم المستهدف التحقق مما إذا كنت تستخدم وكيلًا أم لا. إنها أداة رائعة لكشط الويب.

وبصرف النظر عن ذلك، فإن الميزات الأخرى للوكيل السكني هي: نطاق ترددي غير محدود، إلى جانب الاتصال المتزامن، وخوادم بروكسي HTTP/ث مخصصة، وخوادم بروكسي في أي وقت بسبب وجود أكثر من 7 ملايين بروكسي في تجمع البروكسي، ومصادقة اسم المستخدم وكلمة المرور لمزيد من الأمان، وأخيرًا وليس آخرًا، القدرة على تغيير الخادم القطري. يمكنك تحديد الخادم الذي تريده عن طريق إلحاق رمز البلد بمصادقة اسم المستخدم. 

الأخير هو الوكيل المتميز. الوكلاء المتميزون هم نفس وكلاء مركز البيانات المخصصين. تظل الوظيفة كما هي. الفرق الرئيسي هو إمكانية الوصول. في الوكلاء المتميزين، يتم توفير قائمة الوكلاء (القائمة التي تحتوي على وكلاء) لكل مستخدم على شبكة ProxyScrape. هذا هو السبب في أن تكلفة البروكسيات المتميزة أقل من تكلفة البروكسيات المخصصة لمراكز البيانات.

إذن، ما هو أفضل حل ممكن لأفضل وكلاء HTTP؟ الإجابة ستكون "الوكيل السكني". والسبب بسيط. كما قيل أعلاه، فإن الوكيل السكني هو وكيل دوار، مما يعني أن عنوان IP الخاص بك سيتم تغييره ديناميكيًا على مدار فترة زمنية يمكن أن يكون مفيدًا لخداع الخادم عن طريق إرسال الكثير من الطلبات في إطار زمني صغير دون الحصول على حظر IP. 

بعد ذلك، سيكون أفضل شيء هو تغيير الخادم الوكيل بناءً على البلد. يجب عليك إلحاق رمز ISO_CODE الخاص بالبلد في نهاية مصادقة IP أو مصادقة اسم المستخدم وكلمة المرور. 

الأسئلة الشائعة:

الخاتمة

ناقشنا أن الخوادم الوكيلة هي وسطاء بين العميل والخادم. يمكن أن تعمل خوادم البروكسي كجدار حماية، وتوفر اتصالات شبكة مشتركة، وتخزين البيانات مؤقتًا لتسريع الطلبات الشائعة. يمكننا استخدام مدقق البروكسي لاختبار البروكسيات لمعرفة أي منها يعمل. قبل استخدام مدقق البروكسي، نحتاج إلى التحقق من السرعة والموقع. علاوة على ذلك، يمكننا إنشاء مدقق بروكسي في Python عن طريق استيراد المكتبات اللازمة وتعريف دالة مدقق البروكسي التي تحدد طبيعة الوكيل، أي وظيفية أو غير وظيفية. 

آمل أن تكون قد تعرفت على كيفية إنشاء مدقق وكيل في Python.