لا تتردد في الانتقال إلى أي قسم لمعرفة المزيد حول الوكيل مع طلبات Python!
يتطلب دمج الوكيل مع مكتبة طلبات Python القدرة على العمل مع Python.
طلبات تثبيت النقطة
هناك 5 خطوات بسيطة لإضافة وكلاء مع طلبات Python. تتضمن هذه الخطوات النقاط الرئيسية من تثبيت الحزم الضرورية وإضافة عناوين الوكيل وإرسال الطلبات من خلال طرق الطلبات لوحدات Python.
تتم مناقشة هذه الخطوات 5 بالتفصيل من خلال دليل تدريجي. تتم مناقشة إضافة الوكيل مع طلبات Python والمعلمات المتاحة ووظائفها أدناه.
الضرورة الأساسية للعمل مع طلبات python هي استيراد وحدة الطلبات.
طلبات الاستيرادوحدة الطلبات هذه مسؤولة عن إرسال طلبات HTTP باستخدام ترميز python. الآن لتضمين الوكلاء مع طلبات python هذه ، يتعين على المستخدمين تحديد قاموس باسم "الوكلاء". يحتوي هذا القاموس على "بروتوكولات HTTP" كأسماء و "عناوين URL للوكيل" كقيمة للأسماء. يساعد قاموس الوكيل هذا على إنشاء اتصال HTTP.
proxies = {'https': /, 'http://webproxy.to/ ''}الخطوة التالية هي إنشاء متغير باسم "URL" لتحديد موقع الويب الذي هو مصدر عملية الكشط.
عنوان URL = "http://Yellowpages.com"الخطوة التالية هي تحديد متغير "استجابة" للتعامل مع الطلب عن طريق تمرير متغيرات "URL" والوكيل.
الاستجابة = requests.get (url)يمكن للمستخدمين أيضا طباعة "رمز الحالة" لمعرفة ما إذا كان الطلب ناجحا أم لا.
print(f’Status Code: {response.status_code}') import requests
proxies = {'https': 'https://proxyscrape.com/', 'http': 'https:/webproxy.to/'}
url = 'http://Yellowpages.com'
response = requests.get(url)
print(f'Status Code: {response.status_code}')يمكن للمستخدمين تضمين مصادقة الوكيل عن طريق إضافة معلمات "اسم المستخدم" و "كلمة المرور".
الاستجابة = requests.get (عنوان url ، auth = ('user' ، 'pass'))import requests
proxies = {'https': 'https://proxyscrape.com/', 'http': 'https:/webproxy.to/'}
url = 'http://Yellowpages.com'
response = requests.get(url, auth=('user','pass'))يشبه كائن جلسة العمل هذا ملفات تعريف الارتباط. يحفظ البيانات الخاصة بالمستخدم لطلبات متعددة. يمكن للمستخدمين تضمين كائنات جلسة العمل عن طريق استدعاء وظيفة جلسة العمل لمكتبة الطلبات.
طلبات.جلسة()import requests
session = requests.Session()
session.proxies = {'https': 'https://proxyscrape.com/', 'http': 'https:/webproxy.to/'}
url = 'http://Yellowpages.com'
response = requests.get(url)
print(f’Status Code: {response.status_code}') تسمح معلمة "المهلة" لطلبات HTTP للمستخدمين بتحديد حد زمني أقصى لمعالجة الطلبات. هذه المرة تخبر الخادم بالمدة التي يجب أن ينتظر فيها الرد. يمكن للأشخاص تمرير هذه المعلمة إلى وظيفة طلبات HTTP.
الاستجابة = requests.get ('url' ، المهلة = 5))يمكن للمستخدمين أيضا تعيين قيمة المهلة إلى "بلا" إذا كان الخادم البعيد بطيئا وكان على النظام الانتظار لفترة طويلة.
الاستجابة = requests.get ('url' ، المهلة = لا شيء))import requests
proxies = {'https': 'https://proxyscrape.com/', 'http': 'https:/webproxy.to/'}
url = 'http://Yellowpages.com'
response = requests.get(url, timeout=5)
print(f’Status Code: {response.status_code}') قد يستخدم الأشخاص نفس الوكيل عدة مرات. بدلا من كتابة عنوان URL للوكيل بشكل متكرر ، لديهم خيار متغير بيئي. باستخدام هذا الخيار ، يمكن للأشخاص تعيين عنوان URL وكيل لمتغير بيئي واستخدام هذا المتغير فقط عند الحاجة.
تصدير HTTP_PROXY='http://webproxy.t'من الممكن أيضا نشر JSON على الخادم في طلبات python. في هذه الحالة ، يأخذ الوكيل مع طرق طلبات python عنوان URL كمعلمة أولى و JSON كمعلمة ثانية. يحول القاموس إلى سلاسل بيثون.
import requests
proxies = {'https': 'https://proxyscrape.com/', 'http': 'https:/webproxy.to/'}
url = 'http://Yellowpages.com'
response = requests.post(url, json={
"ID": 123,
"Name": "John"))
})
print(f’Status Code: {response.status_code}, Response: {r.json()}") يمكن للأشخاص أيضا تدوير الوكلاء لتحسين إخفاء الهوية. يمكن أن يساعد استخدام نفس الوكيل لفترة طويلة لجميع المواقع مزودي خدمة الإنترنت على تتبع عنوان الوكيل الخاص بك وحظره. يفضل الناس استخدام أكثر من خادم وكيل واحد في نموذج تناوبي للتعامل مع حظر IP هذا. لديهم مجموعة من الوكلاء ، ويقوم النظام بتدوير وتعيين وكيل جديد من التجمع.
تتمثل الخطوة الأولى لتدوير الوكيل مع طلبات python في استيراد المكتبات الضرورية مثل الطلبات والصابون الجميل والاختيار.
لاستخدام هذا الوكيل التناوبي مع طلبات python ، يتعين علينا تكوينها أو عناوين URL الخاصة بها للاستفادة منها. Proxyscrape يوفر بروكسيات مدفوعة ومجانية من جميع الفئات. يمكن للأشخاص استخدام الوكلاء السكنيين والمتمركزين على البيانات والخاصين من جميع الأنواع والمواقع.
عناوين IP = [" proxyscrape.com:2000", "proxyscrape.com:2010 "،"proxyscrape.com:2100 "،"proxyscrape.com 2500"]ثم يتعين على المستخدمين إنشاء طريقة "طلب وكيل" تحتوي على ثلاث معلمات ، مثل نوع الطلب وعنوان URL و ** kwargs.
def proxy_request(get_proxy,http://webproxy.to/,**kwargs):ضمن طريقة "طلب الوكيل" هذه، قم بإرجاع قاموس الوكيل كاستجابة لأساليب طلب الوكيل. هنا ، kwargs هي حجة لتمرير القيم.
تستخرج هذه الطريقة عناوين الوكيل من عنوان URL محدد لتحويل الاستجابة المستخرجة إلى كائن Beautiful Soap الذي يسهل عملية استخراج الوكيل.
random.radint (0 ، لين (عناوين IP) -1)ثم قم بإنشاء متغير "وكيل" يستخدم مكتبة "الصابون" لإنشاء عنوان وكيل بشكل عشوائي من قائمة وكلاء كائن "الصابون".
الوكيل = random.radint (0 ، len (عناوين IP) -1)proxies = {“http” : ipaddresses(proxy), “https” : ipaddresses(proxy)}
الاستجابة = requests.get (getproxy ، url ، الوكلاء = الوكلاء ، المهلة = 5 ، ** kwargs)
print(currentproxy:{proxy[‘https’]}”)
import requests
import BeautifulSoap
import choice
ipaddresses = [“ proxyscrape.com:2000”, “proxyscrape.com:2010 ”, “proxyscrape.com:2100 ”, “proxyscrape.com 2500”]
def proxy_request(get_proxy,http://webproxy.to/,**kwargs):
while True:
proxy = random.radint(0,len(ipaddresses)-1)
proxies = {“http” : ipaddresses(proxy), “https” : ipaddresses(proxy)}
response = requests.get(getproxy, url, proxies = proxies, timeout=5, **kwargs)
print(currentproxy:{proxy[‘https’]}”)
break
return responseغطت هذه المقالة طلبات HTTP بلغة برمجة python ، إلى جانب المكتبات والوحدات النمطية والوظائف الضرورية المتضمنة في إرسال طلب HTTP. يمكنك استيراد وحدة الطلب واستخدام طرق GET و POST و PATCH و PUT وفقا لمتطلباتك. يمكنك التركيز على الوكيل في python إذا كنت ترغب في الاستفادة من ميزات الوكيل مثل إخفاء الهوية والسرعة وقدرات الكشط. يمكن للمستخدمين أيضا استخدام تجمعات الوكيل وتعيين الوكلاء بالتناوب مع طلب وكيل لتحسين الأمان.