البروكسي مع طلبات بايثون - 5 خطوات بسيطة

البروكسي مع طلبات بايثون هي عملية دمج البروكسي مع كل طلب بايثون بحيث يمكن للمستخدم أن يبقى مجهول الهوية في الشبكة. ستقوم أجهزة العميل التي تطلب البيانات من الخادم بإرسال طلب باستخدام برنامج نصي بايثون أو تكوين وكيل مع طلبات بايثون. يومًا بعد يوم، يتزايد توليد البيانات يومًا بعد يوم في

البروكسي مع طلبات بايثون هي عملية دمج البروكسي مع كل طلب بايثون بحيث يمكن للمستخدم أن يبقى مجهول الهوية في الشبكة. ستقوم أجهزة العميل التي تطلب بيانات من الخادم بإرسال طلب باستخدام برنامج نصي بايثون أو تكوين وكيل مع طلبات بايثون.

يومًا بعد يوم، يتزايد توليد البيانات بمعدل هائل. من مستخدمي الويب العاديين إلى المسوقين المحترفين والمسوقين المحترفين والباحثين عن البيانات على شبكة الإنترنت، سيصل الجميع إلى البيانات لتحليلها ووضع الاستراتيجيات. الإنترنت وسيلة تفيض بالبيانات، مما يجعل من السهل على المستخدمين جمع المعلومات من المواقع الإلكترونية. سوف يرسل مطورو البرمجة طلبات إلى صفحات الويب من التعليمات البرمجية الخاصة بهم ويستخدمون البيانات التي تم جمعها من عنوان URL كمدخلات لمتطلبات البرمجة الخاصة بهم. ماذا لو لم يتمكن المستخدمون من جمع البيانات من المواقع المحجوبة؟ هذه المقالة على وشك مناقشة استخدام البروكسي مع طلبات بايثون وكيف يساعد كاشطات الويب.

لا تتردد في الانتقال إلى أي قسم لمعرفة المزيد عن البروكسي مع طلبات بايثون!

جدول المحتويات

• ما هو الوكيل؟
• ما هي طلبات بايثون؟
• لماذا استخدام البروكسي مع طلبات بايثون؟
• تثبيت مكتبات بايثون وطلب المكتبات
• استخدام البروكسيات مع طلبات بايثون مصادقة الوكيلجلسة HTTPالمهلة مع طلبات الوكيلالمتغير البيئي
• المصادقة بالوكالة
• جلسة HTTP
• المهلة مع طلبات الوكيل
• المتغير البيئي
• الوظائف في وحدة الطلبات
• نشر JSON باستخدام مكتبة طلبات بايثون
• كيفية تدوير الوكيل مع طلبات بايثون
• الأسئلة المتداولة
• الخاتمة

ما هو الوكيل؟

الوكيل هو جهاز وسيط للاتصال بين العميل والخادم. تعمل هذه الوكلاء بالنيابة عن العقدة في الاتصال وتخفي هويتها عن العقد الأخرى في الشبكة. وتتمتع البروكسيات بميزات خاصة تضمن السرعة وإخفاء الهوية وخدمات كشط البيانات دون انقطاع دون أي قيود. جمع المعلومات من مصادر متعددة عملية سهلة للغاية مع خوادم البروكسي.

ما هي طلبات بايثون؟

طلب بايثون عبارة عن مكتبة HTTP تسمح للمستخدمين بإرسال طلبات HTTP إلى عنوان URL. مكتبات الطلبات هذه ليست وحدات مدمجة في بايثون. يمكن للمستخدمين استيراد الطلبات من المكتبة إذا لزم الأمر. تحتوي مكتبة طلبات HTTP على العديد من الطرق، مثل POST و PUT و HEAD و GET و POST و PATCH.

لماذا استخدام البروكسي مع طلبات بايثون؟

يفضل الناس استخدام البروكسيات في الوقت الحاضر لإخفاء هوياتهم. يمكن للبروكسيات إخفاء عناوين IP الخاصة بنا والظهور في الشبكة بعنوان وكيل من أي نوع وموقع. وهذا يسمح للمستخدم بكشط المعلومات حتى من المواقع المحظورة أو المحجوبة جغرافياً. يمكن للمواقع المحظورة بالنسبة للكنديين استخدام عنوان بروكسي من المملكة المتحدة للوصول إلى المواقع وتجنب حظر بروتوكول الإنترنت. وللاستفادة من ميزات البروكسي، يستخدم مطورو الويب البروكسي مع مكتبة طلبات بايثون بحيث لا يعرف عنوان URL الهوية الفعلية للمستخدم.

تثبيت مكتبات بايثون وطلب المكتبات

يتطلب دمج البروكسي مع مكتبة طلبات بايثون القدرة على العمل مع بايثون.

• معرفة أساسية ببرمجة بايثون.
• خبرة في استخدام Python 3.
• برنامج Python IDLE المثبت مسبقاً في النظام.
• مكتبة طلبات الاستيراد من موجه الأوامر. 

يجب أن يتأكد الناس من أن لديهم هذه المتطلبات الأساسية. الشرطين الأولين هما المهارات اللازمة للعمل على برنامج بايثون النصي، بينما الشرطين التاليين هما المتطلبات الأساسية لتشغيل برامج بايثون. إذا كان النظام لا يحتوي على محرر بايثون، فقم بتنزيل إصدار بايثون المناسب والمتوافق مع تكوين نظامك. راجع الإرشادات لتنزيل Python وتكوينه في نظامك. سيتطلب ذلك 2 جيجابايت إلى 4 جيجابايت من ذاكرة الوصول العشوائي. بمجرد الانتهاء من تثبيت بايثون الأساسي، يجب على المستخدمين أيضًا التأكد من استيراد المكتبات الضرورية. للعمل مع طلبات بايثون، ليس لدينا أي مكتبات طلبات مدمجة. لذا، يجب على المستخدمين تثبيت مكتبة الطلبات في المقام الأول.

• افتح "موجه الأوامر".
• اكتب "تجميد النقطة."
• سيعرض خيار التجميد هذا جميع مكتبات بايثون المثبتة.
• تحقق مما إذا كانت "وحدة الطلب النمطية" متوفرة في القائمة إذا لم تكن متوفرة، فقم بتثبيت "مكتبة الطلب".

طلبات التثبيت

• سيؤدي هذا البيان إلى تثبيت "مكتبة الطلب".

استخدام الوكلاء مع طلبات بايثون

هناك 5 خطوات بسيطة لإضافة البروكسي مع طلبات بايثون. تتضمن هذه الخطوات النقاط الرئيسية من تثبيت الحزم اللازمة وإضافة عناوين البروكسي وإرسال الطلبات من خلال طرق الطلبات في وحدات بايثون النمطية.

البروكسي مع طلبات بايثون

تتم مناقشة هذه الخطوات الخمس بالتفصيل من خلال دليل تدريجي. تتم مناقشة إضافة الوكيل مع طلبات Python والمعلمات المتاحة ووظائفها أدناه.

الضرورة الأساسية للعمل مع طلبات بايثون هي استيراد وحدة الطلبات. 

 طلبات الاستيراد

وحدة الطلبات هذه هي المسؤولة عن إرسال طلبات HTTP باستخدام ترميز بايثون. الآن لتضمين البروكسيات مع طلبات بايثون هذه، يجب على المستخدمين تحديد قاموس باسم 'البروكسيات'. يحتوي هذا القاموس على "بروتوكولات HTTP" كأسماء و"عناوين URL الوكيل" كقيمة للأسماء. يساعد قاموس البروكسي هذا على إنشاء اتصال HTTP. 

proxies = {'https': https://proxyscrape.com/,  'http://webproxy.to/ ''}

الخطوة التالية هي إنشاء متغير باسم "URL" لتحديد موقع الويب الذي يمثل مصدر عملية الكشط.

عنوان url ='http://Yellowpages.com'

الخطوة التالية هي تحديد متغير "استجابة" للتعامل مع الطلب من خلال تمرير متغيري "URL" والوكيل. 

الاستجابة = الطلبات.get(url)

يمكن للمستخدمين أيضًا طباعة "رمز الحالة" لمعرفة ما إذا كان الطلب ناجحًا أم لا.

print(f’Status Code: {response.status_code}') 

عينة الترميز

import requests
proxies = {'https': 'https://proxyscrape.com/', 'http': 'https:/webproxy.to/'}
url = 'http://Yellowpages.com'
response = requests.get(url)
print(f'Status Code: {response.status_code}')

المصادقة بالوكالة

يمكن للمستخدمين تضمين مصادقة الوكيل عن طريق إضافة معلمي "اسم المستخدم" و"كلمة المرور". 

الاستجابة = الطلبات.get(url, auth=('user', 'pass'))

عينة الترميز

import requests
proxies = {'https': 'https://proxyscrape.com/', 'http': 'https:/webproxy.to/'}
url = 'http://Yellowpages.com'
response = requests.get(url, auth=('user','pass'))

جلسة HTTP

يشبه كائن جلسة العمل هذا ملفات تعريف الارتباط. فهو يحفظ البيانات الخاصة بالمستخدم لطلبات متعددة. يمكن للمستخدمين تضمين كائنات جلسة العمل عن طريق استدعاء دالة جلسة العمل الخاصة بمكتبة الطلبات.

طلبات الجلسة()

عينة الترميز

import requests
session = requests.Session()
session.proxies = {'https': 'https://proxyscrape.com/', 'http': 'https:/webproxy.to/'}
url = 'http://Yellowpages.com'
response = requests.get(url)
print(f’Status Code: {response.status_code}') 

المهلة مع طلبات الوكيل

تسمح معلمة "المهلة" لطلبات HTTP للمستخدمين بتحديد حد زمني أقصى لمعالجة الطلبات. يخبر هذا الوقت الخادم بالمدة التي يجب أن ينتظر فيها الرد. يمكن للأشخاص تمرير هذه المعلمة إلى دالة طلبات HTTP.

الاستجابة = الطلبات.get('url'، المهلة=5))

يمكن للمستخدمين أيضًا تعيين قيمة المهلة إلى "لا شيء" إذا كان الخادم البعيد بطيئًا وكان على النظام الانتظار لفترة طويلة.

الاستجابة = الطلبات.get('url'، المهلة = لا شيء))

رمز العينة:

import requests
proxies = {'https': 'https://proxyscrape.com/', 'http': 'https:/webproxy.to/'}
url = 'http://Yellowpages.com'
response = requests.get(url, timeout=5)
print(f’Status Code: {response.status_code}') 

المتغير البيئي

قد يستخدم الأشخاص نفس الوكيل عدة مرات. بدلاً من كتابة عنوان URL الوكيل بشكل متكرر، لديهم خيار المتغير البيئي. باستخدام هذا الخيار، يمكن للأشخاص تعيين عنوان URL الوكيل إلى متغير بيئي واستخدام هذا المتغير عند الحاجة. 

تصدير HTTP_PROXY='http://webproxy.t'

الوظائف في وحدة الطلبات

مكتبة الطلبات في لغة بايثون قادرة على التعامل مع دوال متعددة متعلقة بالطلبات والاستجابات، مثل الحصول والنشر والوضع والحذف والتصحيح والرأس. فيما يلي بناء جملة الدوال الشائعة. 

• الاستجابة = الطلبات.get(url)
• الاستجابة = الطلبات.post(url، الوكلاء = الوكلاء)
• الاستجابة = الطلبات.head.head(url)
• الاستجابة = طلبات.خيارات(url)
• response = requests.put(url,data={“a”:1,args}
• الاستجابة = الطلبات.حذف (url)
• response = requests.patch(url,data={“a”:1,args}

نشر JSON باستخدام مكتبة طلبات بايثون

يمكن أيضًا إرسال JSON إلى الخادم في طلبات بايثون. في هذه الحالة، يأخذ الوكيل مع طرق طلبات بايثون عنوان URL كمعامله الأول و JSON كمعامله الثاني. يقوم بتحويل القاموس إلى سلاسل بايثون.

رمز العينة:

import requests
proxies = {'https': 'https://proxyscrape.com/', 'http': 'https:/webproxy.to/'}
url = 'http://Yellowpages.com'
response = requests.post(url, json={
"ID": 123,
"Name": "John"))
})
print(f’Status Code: {response.status_code}, Response: {r.json()}") 

كيفية تدوير الوكيل مع طلبات بايثون

يمكن للأشخاص أيضاً تدوير البروكسي لتحسين إخفاء الهوية. استخدام نفس البروكسي لفترة طويلة لجميع المواقع يمكن أن يساعد مزودي خدمة الإنترنت في تعقب وحظر عنوان البروكسي الخاص بك. يفضل الناس استخدام أكثر من خادم وكيل واحد في نموذج تناوبي للتعامل مع حظر عناوين IP هذه. لديهم مجموعة من البروكسيات، ويقوم النظام بالتناوب وتعيين وكيل جديد من المجموعة. 

الخطوة الأولى لتدوير البروكسي مع طلبات بايثون هي استيراد المكتبات الضرورية مثل الطلبات والصابون الجميل والاختيار. 

ولاستخدام هذا البروكسي الدوار مع طلبات بايثون، علينا تهيئتها أو عناوين URL الخاصة بها للاستفادة منها. Proxyscrape يوفر البروكسيات المدفوعة والمجانية من جميع الفئات. يمكن للأشخاص استخدام البروكسيات السكنية والمتمحورة حول البيانات والخاصة من جميع الأنواع والمواقع. 

ipaddresses = [" proxyscrape.com:2000 "، "proxyscrape.com:2010 "، "proxyscrape.com:2100 "، "proxyscrape.com 2500 "]

ثم يتعين على المستخدمين إنشاء طريقة "طلب وكيل" تحتوي على ثلاث معلمات، مثل نوع الطلب وعنوان URL و **kwargs.

def proxy_request(get_proxy,http://webproxy.to/,**kwargs):

ضمن طريقة "طلب الوكيل" هذه، قم بإرجاع قاموس الوكيل كاستجابة لطرق طلب الوكيل. هنا، kwargs هي وسيطة لتمرير القيم. 

تستخرج هذه الطريقة عناوين الوكيل من عنوان URL محدد لتحويل الاستجابة المستخرجة إلى كائن صابون جميل يسهل عملية استخراج الوكيل. 

random.radint (0,len(ipaddresses)-1)

ثم قم بإنشاء متغير "وكيل" يستخدم مكتبة "الصابون" لإنشاء عنوان وكيل عشوائيًا من قائمة وكلاء كائنات "الصابون".

وكيل = random.radint.radint(0,len(ipaddresses)-1)

proxies = {“http” : ipaddresses(proxy), “https” : ipaddresses(proxy)}

الاستجابة = الطلبات.get(getproxy, url, proxies = proxies, timeout=5, **kwargs)

print(currentproxy:{proxy[‘https’]}”)

نموذج الرمز

import requests
import BeautifulSoap
import choice
ipaddresses = [“ proxyscrape.com:2000”, “proxyscrape.com:2010 ”, “proxyscrape.com:2100 ”, “proxyscrape.com 2500”]
def proxy_request(get_proxy,http://webproxy.to/,**kwargs):
 while True:
  proxy = random.radint(0,len(ipaddresses)-1)
   proxies = {“http” : ipaddresses(proxy), “https” : ipaddresses(proxy)}
   response = requests.get(getproxy, url, proxies = proxies, timeout=5, **kwargs)
   print(currentproxy:{proxy[‘https’]}”)
  break
 return response

قراءات مقترحة:

أفضل 8 أدوات لكشط الويب من بايثون في عام 2023كيفية إنشاء وكيل في بايثون؟ أفضل طريقة في عام 2023

الأسئلة المتداولة

الأسئلة الشائعة:

الخاتمة

غطت هذه المقالة طلبات HTTP في لغة برمجة بايثون، إلى جانب المكتبات والوحدات والوظائف الضرورية التي ينطوي عليها إرسال طلب HTTP. يمكنك استيراد وحدة الطلبات واستخدام طرق GET و POST و PATCH و PATCH و PUT حسب متطلباتك. يمكنك التركيز على البروكسي في بايثون إذا كنت ترغب في الاستفادة من ميزات البروكسي مثل إخفاء الهوية والسرعة وقدرات الكشط. يمكن للمستخدمين أيضًا استخدام تجمعات البروكسي وتعيين الوكلاء بالتناوب مع طلب الوكيل لتعزيز الأمان.