شعار proxyscrape داكن

كيفية استخدام البروكسيات لتدوير عناوين IP في بايثون؟ 5 خطوات سهلة في 2024

كيفية القيام بذلك, الوكلاء, بايثون, Nov-22-20225 دقائق للقراءة

عندما تستخدم البروكسي، فأنت لا تتصل مباشرةً بالخادم الهدف، بل توجه طلبك إلى الخادم الوكيل الذي يقيّمه ويعيد لك الرد. تتمتع البروكسيات بالعديد من الفوائد، مثل إخفاء عناوين IP الحقيقية الخاصة بك، وتجاوز الفلاتر والرقابة وما إلى ذلك. من الصعب أحيانًا إجراء عمليات تجريف الويب المتقدمة

جدول المحتويات

عندما تستخدم البروكسي، فأنت لا تتصل مباشرةً بالخادم الهدف، بل توجه طلبك إلى الخادم الوكيل الذي يقيّمه ويعيد لك الرد. للوكلاء العديد من الفوائد، مثل إخفاء عناوين IP الحقيقية الخاصة بك، وتجاوز الفلاتر والرقابة وما إلى ذلك. 

من الصعب في بعض الأحيان إجراء كشط الويب المتقدم بسبب إرسال طلبات متعددة من نفس عنوان IP. ويواجه كاشطو الويب مشكلة شائعة تتمثل في تعرضهم للحظر من قبل المواقع التي يقومون بكشطها. لكن بإمكانهم استخدام العديد من التقنيات لمنع تعرضهم للحظر، مثل

  • تدوير عناوين IP
  • استخدام متصفحات بدون رأس
  • تقليل معدل الزحف,
  • استخدام الوكلاء

يمكن أن تساعدك أداة تدوير البروكسي في الالتفاف على معظم إجراءات مكافحة الاختراق. يمكنك أيضًا استخدامه لتجاوز أي حدود للمعدل المطبقة على الموقع الإلكتروني المستهدف واستخراج البيانات بنجاح. ولكن ما هو الوكيل الدوار؟ هو بروكسي يقوم بتعيين عنوان IP جديد لكل اتصال من تجمع البروكسي. وهذا يعني أنه يمكنك إرسال 1000 طلب إلى أي عدد من المواقع الإلكترونية عن طريق تشغيل برنامج نصي والحصول على 1000 عنوان IP مختلف.

تساعدك هذه المقالة على فهم كيفية استخدام البروكسيات لتدوير عناوين IP في بايثون.

كيفية استخدام البروكسيات لتدوير عناوين IP في بايثون

يمكنك كشط قائمة البروكسيات المجانية وحفظها في ملف نصي باسم list_proxy.txt. يمكنك بعد ذلك اتباع الخطوات التالية لتدوير عناوين IP في Python.

مكتبات الاستيراد

يجب عليك استيراد وحدة طلبات Python النمطية باستخدام الأمر أدناه. 

طلبات الاستيراد

إذا لم تكن الوحدة النمطية مثبتة في بيئتك، يمكنك تثبيتها باستخدام الأمر أدناه. 

!طلبات التثبيت

إنشاء وظيفة

يجب عليك إنشاء دالة send_request (إرسال_request) التي ستأخذ معلمتين، أي الجلسة والوكيل. سيكون من الأفضل استخدام وكيل HTTP لأن معظم الوكلاء المجانيين لا يستخدمون بروتوكول HTTPS. سوف نستخدم كتل محاولة الاستثناء لأن معظم البروكسيات المجانية لا تعمل لأنها مدرجة في قائمة الحظر. 

def send_request(session, proxy):
   try:
       response = session.get('http://httpbin.org/ip', proxies={'http': f"http://{proxy}"})
       print(response.json())
   except:
       pass

قراءة ملف .txt

هنا يأتي القسم الرئيسي من الكود. يجب عليك قراءة ملف list_proxy.txt وحفظه في المتغير المسمى proxyies كما هو موضح أدناه. 

إذا __name__ = = "__main____":
  مع فتح('list_proxy.txt'، 'r') كملف:
       الوكلاء = file.readlines()

استخدام حلقة من أجل التكرار

عليك استخدام وحدة الطلبات لإنشاء جلسة في بايثون. استخدمنا حلقة للتكرار للتكرار من خلال الوكيل في الشيفرة أدناه. ثم مررنا الجلسة والوكيل إلى دالة send_request.  

مع الطلبات.Session() كجلسة 
  للوكيل في الوكلاء
       إرسال_طلب(جلسة، وكيل)

تشغيل البرنامج النصي

يمكنك تشغيل البرنامج النصي ومشاهدة المخرجات كما هو موضح أدناه. ستحصل على قائمة طويلة من الوكلاء ولكن تذكر أنها لن تعمل.  

python rotateproxy.py

سيكون رمزك بالكامل على النحو التالي: 

import requests


def send_request(session, proxy):
   try:
       response = session.get('http://httpbin.org/ip', proxies={'http': f"http://{proxy}"})
       print(response.json())
   except:
       pass


if __name__ == "__main__":
   with open('list_proxy.txt', 'r') as file:
       proxies = file.readlines()

   with requests.Session() as session:
       for proxy in proxies:
           send_request(session, proxy)

نصائح لإنشاء دوّار وكيل دوّار

فيما يلي بعض النصائح لتدوير الوكلاء في Python عند استخدام وكيل دوار.

استخدم خدمات بروكسي موثوقة ومجانية

معظم خدمات البروكسي المجانية المتاحة مزدحمة، مما يؤدي إلى أعطال غير متوقعة وتأخيرات محبطة. لذلك، عندما تخطط لاستخدام البروكسيات المجانية، عليك أن تتحقق مما إذا كانت تتوافق مع احتياجاتك في الكشط دون التسبب في أي أعطال كبيرة.

معظم البروكسيات المجانية صالحة لفترة محدودة، لذا يمكنك بناء منطقك الخاص في Python الذي يمكنه تدوير قائمة البروكسيات المجانية الدوارة بعناوين IP العاملة. بهذه الطريقة، لن تحصل على أي انقطاع أثناء كشط الويب. 

الامتناع عن استخدام عناوين IP الوكيل التي يمكن التنبؤ بها

يجب عليك تجنب استخدام عناوين IP التي تتبع تسلسلًا معينًا أو تنسيقًا متوقعًا مثل الانتماء إلى نفس المجموعة. ذلك لأن معظم أدوات مكافحة الكشط يمكنها بسهولة اكتشاف الطلبات المرسلة من عناوين IP هذه. على سبيل المثال، يجب عليك الامتناع عن استخدام التسلسل التالي لعناوين IP الدوارة لأنها سترفع العلم الأحمر بسرعة.

103.243.132.11

103.243.132.12

103.243.132.13

103.243.132.14

ضع في اعتبارك خدمة الوكيل المتميز

أجهزة تدوير بروتوكول الإنترنت الوكيل المجانية غير آمنة وبطيئة. لذا، فإن استخدامها لن يكون مناسبًا إذا كنت تقوم بمشاريع كشط الويب المتقدمة والواسعة النطاق. باستخدام البروكسيات الممتازة الجيدة، يمكنك الحصول على خدمة عالية الجودة وكشط آلاف صفحات الويب دون التعرض للحظر أو التعطيل. 

لاستخدام خدمة بروكسي متميزة، سيكون عليك دفع بضعة دولارات والحصول على مزود خدمة يلبي احتياجاتك في استخراج البيانات ويضمن لك خصوصيتك.

البحث عن وكلاء النخبة

فيما يلي ثلاث فئات رئيسية من الوكلاء على الإنترنت.

  • وكلاء النخبة
  • الوكلاء المجهولون
  • الوكلاء الشفافون

وكلاء النخبة هم الخيار الأفضل من بين هذه الوكلاء حيث يمكنهم منع عمليات الكشف وتجاوز القيود. يمكنك فقط إرسال رأس REMOTE_ADDR باستخدام وكيل النخبة مع إبقاء الرؤوس الأخرى فارغة. بهذه الطريقة، يمكنك تحقيق الخصوصية المثلى باستخدام هذه البروكسيات.

من ناحية أخرى، يكشف البروكسي الشفاف عن تفاصيل عنوان IP الخاص بك ويرسل عنوان IP الحقيقي الخاص بك عبر رأس HTTP_VIA ورأس HTTP_X_X_FORWARDED_FOR. لا يكشف الوكيل المجهول عن عنوان IP الفعلي الخاص بك. فهو إما يرسل عنوان IP الخاص بالوكيل أو يتركه فارغاً.

الجمع بين دوران IP مع دوران وكيل المستخدم

يمكنك استخدام تدوير عناوين IP لتدوير عناوين IP متعددة وتجنب اكتشافها. ومع ذلك، يمكن لبعض تدابير مكافحة الكشط تحديد مثل هذه الأنشطة ومنعك من جمع البيانات. لذلك، تحتاج أيضًا إلى تدوير وكلاء المستخدمين بصرف النظر عن تدوير عناوين IP لزيادة فرص نجاحك. 

الأسئلة الشائعة:

1. كيفية استخدام البروكسيات لتدوير عناوين IP باستخدام python؟
بمساعدة طلبات مكتبة python، يمكنك تدوير البروكسيات بسهولة. أولاً، قم بتحميل قائمة البروكسيات المجانية من موقع ProxyScrape، وثانياً، قم بإنشاء دالة يمكنك استخدامها لتنفيذ عملية تدوير بروتوكول الإنترنت بالكامل؛ ثالثاً، استخدم دالة القراءة لقراءة البروكسيات المجانية التي تم تحميلها؛ وأخيراً، قم بتشغيل البرنامج النصي باستخدام حلقة للتكرار للحصول على الوكيل المتاح لجلسة ما.
2. هل هناك وكيل دوار متاح على الإنترنت؟
نعم، هناك برامج تدوير البروكسي متاحة على الإنترنت. بدلاً من تدوير وكلاء مركز البيانات الخاص بك يدوياً، يمكنك استخدام هذه البرامج لتدوير البروكسي للقيام بالمهمة الشاقة. لكن هذه خدمات مدفوعة؛ إذا كنت تريد أداة تدوير بروكسي مجانية، فإن بناء أداة تدوير بمساعدة بايثون هي أفضل فرصة.
3. كيف تساعد البروكسيات في كشط الويب؟
تساعد الوكلاء على إخفاء عنوان IP الأصلي الخاص بك واستخدام عنوان IP الخاص بهم لإرسال عدة طلبات إلى الخادم الهدف للحصول على المعلومات اللازمة. من أجل كشط الويب، تحتاج إلى إرسال العديد من الطلبات بسرعة، وهو ما يمكن أن يراه الخادم المستهدف كسلوك غير طبيعي ويحظر عنوان IP الخاص بك. يساعدك الوكيل على تجنب مثل هذه السيناريوهات.

الخاتمة

من السهل إنشاء أداة تدوير بروكسي في Python. يمكنك إنشاء بروكسيات عشوائية ثم بناء منطق لكشط البيانات من المواقع الإلكترونية. بصرف النظر عن مراكز البيانات والوكلاء السكنيين، فإن الفئات الأخرى هي وكلاء النخبة والوكلاء المجهولين والوكلاء الشفافين. وكلاء النخبة هم الخيار الأفضل لأنه من الصعب اكتشافهم من قبل الموقع الإلكتروني المستهدف. يمكنك استخدام البروكسيات المجهولة إذا كنت تريد فقط الحفاظ على خصوصيتك على الإنترنت. وأخيراً، يمكنك استخدام البروكسيات الشفافة، ولكنها تقدم أقل فرصة للنجاح. تأمل هذه المقالة في تقديم معلومات متعمقة وإعطاء أمثلة عن كيفية استخدام البروكسيات لتدوير عناوين IP في بايثون بخطوات ترميز بسيطة

بواسطة: ProxyScrape

أحدث المنشورات