كيفية استخدام البروكسي مع وحدة الطلبات في بايثون

يحصل كل جهاز كمبيوتر على عنوان بروتوكول إنترنت (IP) فريد من نوعه يحدد الكمبيوتر وموقعه الجغرافي عند اتصاله بالإنترنت. يرسل الكمبيوتر طلباً كلما احتاج إلى أي معلومات من الإنترنت. يتم إرسال الطلب إلى الكمبيوتر الهدف الذي يتحقق من نوع المعلومات المطلوبة. الهدف

يحصل كل جهاز كمبيوتر على عنوان بروتوكول إنترنت (IP) فريد من نوعه يحدد الكمبيوتر وموقعه الجغرافي عند اتصاله بالإنترنت. يرسل الكمبيوتر طلباً كلما احتاج إلى أي معلومات من الإنترنت. يتم إرسال الطلب إلى الكمبيوتر الهدف الذي يتحقق من نوع المعلومات المطلوبة. يرسل الكمبيوتر الهدف المعلومات مرة أخرى إذا كان مسموحاً له بإعطائها إلى عنوان IP الخاص بنا. في بعض الأحيان، يريد الكمبيوتر الحصول على المعلومات من الإنترنت دون أن يتم التعرف عليه. عادة ما يتم حظر هذه المعلومات، ولكن يمكننا الحصول عليها باستخدام وكيل يعمل كوسيط بين العميل وجهاز الخادم.

لكل خادم وكيل عنوان IP خاص به، لذلك عندما يطلب المستخدم عبر وكيل الوصول إلى موقع إلكتروني ما عبر وكيل ما، يرسل الموقع الإلكتروني البيانات إلى عنوان IP الخاص بالخادم الوكيل الذي يرسلها إلى المستخدم.

• تخفي البروكسيات هوية كاشطات الويب وتجعل حركة المرور الخاصة بها تبدو وكأنها حركة مرور مستخدم عادي.
• توفر البروكسيات أماناً إضافياً للمواقع الإلكترونية وتوازن حركة المرور على الإنترنت.
• تحمي البروكسيات بيانات مستخدمي الويب أو تساعد في الوصول إلى المواقع الإلكترونية المحجوبة بواسطة آلية الرقابة في بلد ما.

استخدام وكيل مع وحدة الطلبات في بايثون

لاستخدام البروكسيات مع طلبات Python، عليك اتباع الخطوات التالية.

طلبات الاستيراد

استورد حزمة الطلبات التي هي عبارة عن مكتبة HTTP بسيطة. يمكنك بسهولة إرسال الطلبات من خلال هذه الحزمة دون إضافة سلاسل الاستعلام يدويًا إلى عناوين URL الخاصة بك. يمكنك استيراد الطلبات باستخدام الأمر أدناه.

طلبات الاستيراد

إنشاء قاموس

تحتاج إلى إنشاء قاموس بروكسيات يحدد اتصالات HTTP و HTTPS. يمكنك إعطاء متغير القاموس أي اسم مثل "البروكسيات" الذي يعيّن بروتوكولًا لعنوان URL الوكيل. علاوة على ذلك، عليك أن تجعل متغير عنوان URL مضبوطًا على موقع الويب الذي تريد الكشط منه.

proxies = {
  "http":'http://203.190.46.62:8080',
  "https":'https://111.68.26.237:8080'
}
url = 'https://httpbin.org/ip'

هنا يحدد القاموس عنوان URL الخاص بالوكيل لبروتوكولين منفصلين، أي HTTP و HTTPS.

إنشاء متغير استجابة

عليك إنشاء متغير استجابة يستخدم أيًا من طرق الطلبات. تأخذ هذه الطريقة وسيطتين:

• عنوان URL الذي قمت بإنشائه
• القاموس الذي عرفته

الاستجابة = طلبات.get(url,proxies = proxies)
طباعة(response.json())

يكون الناتج على النحو التالي:

يمكنك أيضًا استخدام وحدة الطلبات في Python لتدوير عناوين IP كما هو موضح أدناه.

عليك استيراد وحدة الطلبات باستخدام الأمر أدناه.

طلبات الاستيراد

إنشاء دالة إرسال_طلب_إرسال

يجب عليك إنشاء دالة send_request وتفضل استخدام وكيل http لأن معظم الوكلاء المجانيين لا يستخدمون بروتوكول https. لقد استخدمنا حظر محاولة الاستثناء لأن معظم البروكسيات المجانية لا تعمل.

def sending_request(session, proxy):
    try:
        response = session.get('http://httpbin.org/ip', proxies={'http': f"http://{proxy}"})
        print(response.json())
    except:
        pass

قراءة proxyies_txt

يجب عليك قراءة ملف list_proxies.txt الذي يحتوي على قائمة البروكسيات المجانية وحفظه في المتغير المسمى proxies.

إذا __name__ = = "__main____":
   مع فتح('list_proxies.txt', 'r') كملف:
        الوكلاء = file.readlines()

إنشاء جلسة

عليك إنشاء جلسة من وحدة الطلبات واتباع الخطوات التالية.

• التكرار من خلال الوكيل
• قم بتمرير الوكيل وجلسة العمل إلى دالة إرسال_الطلب

مع الطلبات.Session() كجلسة 
   للوكيل في الوكلاء
        إرسال_طلب(جلسة، وكيل)

ستحصل على قائمة الوكلاء كما هو موضح أدناه.

هذه بعض الوكلاء، والقائمة تطول مع المزيد من الوكلاء، ولكن جميعها لا تعمل.

الحاجة إلى وكلاء

تحتاج كل شركة إلى معرفة الأسباب الخمسة الحيوية للشركات لاستخدام الوكلاء المذكورة أدناه.

تنفيذ المهام الحساسة دون الكشف عن الهوية

تشتهر البروكسيات بقدرتها على إخفاء هوية حركة مرور الإنترنت. لكن معظم الناس يفشلون في فهم أهميتها في قطاع الأعمال. تسمح خوادم البروكسي لمسؤولي الأمن والمراسلين بحماية أنفسهم والشركات والمصادر والعملاء والشركاء.

يمكنك أيضًا استخدام البروكسي لحماية التطوير والأبحاث الحالية وأنشطة الشركة الأخرى. لنفترض أن شركتك تستخدم وكيلاً وجاسوساً محتملاً لتتبع حركة مرور الويب لتحديد ما تقوم شركتك بتطويره. في هذه الحالة، لن يتمكن من تتبع موظفيك بسهولة.

تحسين أمن الشركات والمؤسسات

أنت تعلم أن انتهاكات البيانات مكلفة من حيث الصورة العامة والخسارة المالية. لذلك، تشعر الشركات بالقلق من المخترقين. لكن البروكسيات يمكن أن تساعدك لأنها تقلل من فرصة اختراق البيانات. فهي تضيف طبقة إضافية من الأمان بين خوادمك وحركة المرور الخارجية. تعمل خوادم البروكسي أيضًا كمخزن مؤقت لأنها تواجه الإنترنت وتقوم بترحيل الطلبات من أجهزة الكمبيوتر خارج الشبكة.

إذا تمكّن المخترقون من الوصول إلى خوادم البروكسي الخاصة بك، فسيظلون يواجهون مشكلة في الوصول إلى الخادم الذي يشغل برنامج الويب حيث يتم تخزين البيانات.

التحكم في استخدام الموظفين للإنترنت

أنت تعلم أن انتهاكات البيانات مكلفة من حيث الصورة العامة والخسارة المالية. لذلك، تشعر الشركات بالقلق من المخترقين. لكن البروكسيات يمكن أن تساعدك لأنها تقلل من فرصة اختراق البيانات. فهي تضيف طبقة إضافية من الأمان بين خوادمك وحركة المرور الخارجية. تعمل خوادم البروكسي أيضًا كمخزن مؤقت لأنها تواجه الإنترنت وتقوم بترحيل الطلبات من أجهزة الكمبيوتر خارج الشبكة.

إذا تمكّن المخترقون من الوصول إلى خوادم البروكسي الخاصة بك، فسيظلون يواجهون مشكلة في الوصول إلى الخادم الذي يشغل برنامج الويب حيث يتم تخزين البيانات.

توفير عرض النطاق الترددي وتحقيق سرعات أعلى

يفترض بعض الناس أن خوادم البروكسي تبطئ من سرعات الإنترنت بسبب حجم العمل الكبير الذي تنجزه في الخلفية. لكن هذا ليس صحيحاً دائماً. يمكن استخدام خوادم البروكسي لتوفير النطاق الترددي وزيادة السرعات عن طريق:

• التخزين المؤقت لصفحات الويب والملفات التي يتم الوصول إليها من قبل عدة مستخدمين
• ضغط حركة المرور
• إزالة الإعلانات من المواقع الإلكترونية

ما هي الوكلاء الذين يجب استخدامهم؟

قد تعتقد أن هناك النوع الوحيد من الوكلاء الذي يوفر جميع المزايا للشركات، مثل:

• منع اختراق البيانات
• تحديد أسعار تنافسية
• جمع البيانات القيمة على وسائل التواصل الاجتماعي
• بناء استراتيجية فعالة لتحسين محركات البحث

في الواقع، هناك العديد من أنواع البروكسيات المتاحة، ويعتمد النوع الذي يجب استخدامه على متطلباتك أو حالة الاستخدام.

فيما يلي أكثر أنواع الوكلاء شيوعًا.

وكلاء مركز البيانات

وكلاء مراكز البيانات هم الوكلاء الأكثر شيوعًا الذين تستخدمهم الشركات في جميع أنحاء العالم. تقوم مراكز البيانات بإنتاج وإدارة هذه البروكسيات. يمكنك استخدام هذه البروكسيات إذا كنت ترغب في تحسين أمان نظامك لأنها رخيصة الثمن ويسهل الحصول عليها. لكن بعض المواقع الإلكترونية تحظر استخدامها لأنها تربطها بنشاط يشبه نشاط الروبوتات.

الوكلاء السكنيون

ترتبط البروكسيات السكنية بأماكن إقامة فعلية وتستخدم عناوين IP لأشخاص فعليين يقدمها مزودو خدمة الإنترنت (ISPs). عندما تستخدمها للاتصال بموقع إلكتروني، فإنك تبدو كمستخدم عادي. وبالتالي، تقل احتمالية اكتشافك وحظرك. يمكنك كشط كمية كبيرة من بيانات الويب باستخدام البروكسيات السكنية وتحقيق إخفاء الهوية والأمان بشكل أفضل.

الخاتمة

ناقشنا حتى الآن أن البروكسي يعمل كوسيط بين العميل وجهاز الخادم. فكلما طلبت معلومات، يرسل حاسوبك هذا الطلب إلى البروكسي الذي يرسل المعلومات إلى الحاسوب الهدف باستخدام عنوان IP مختلف. وبالتالي يبقى عنوان IP الخاص بك سرياً. علاوةً على ذلك، يمكنك استخدام البروكسي مع وحدة الطلبات في Python وتنفيذ إجراءات مختلفة حسب حاجتك. إذا كنت بحاجة إلى عنوان IP ثابت مع سرعة وكلاء مركز البيانات وإخفاء الهوية العالية للوكلاء المقيمين، فإن البروكسيات الثابتة هي الطريقة المثلى لأن عنوان IP يبقى دون تغيير مع كل طلب جديد. على العكس من ذلك، توفر البروكسيات الدوارة فوائد في الاختبار والكشط.