cURL هو اختصار لعنوان URL للعميل وأداة سطر أوامر لإرسال البيانات واستلامها من الخادم. يتم توزيعه على أنظمة التشغيل الحديثة ، بما في ذلك توزيعات Windows 10 و Linux. إنها مكتبة ملائمة تسمح لك بإرسال واستقبال البيانات من وإلى مواقع الويب وهي أداة حيوية لاحتياجات تجريف الويب الخاصة بك. قبل النظر إلى مثال بسيط ، دعنا نتعرف على ما تحتاج إلى معرفته لتثبيته.
سودو شقة تثبيت الضفيرة.
في Windows، افتح الوحدة الطرفية أو موجه الأوامر واكتب:
<em><strong>curl https://www.yahoo.com</strong></em>على وحدة التحكم ، ستقوم بطباعة HTML للصفحة.
ينقل cURL البيانات من وإلى صفحات الويب بمساعدة بروتوكولات الإنترنت. على الرغم من أنه في البداية ، تم تطوير cURL للعمل مع بروتوكولات HTTP ، إلا أنه يدعم حاليا العديد من بروتوكولات الشبكة مثل FTP و IMAP و IMAPS و SMTP و POP3 و POP3S وغيرها.
كما أنه يدعم POST و GET و PUT وبعض الطرق الأخرى الموجودة عند إرسال الطلبات. لنلق نظرة على مثال لإرسال بعض البيانات مع بيانات النشر.
curl -d "name = yourname &value = somevalue" https://examplewebsite.com/ post"يشير الجزء أعلاه من الكود -d إلى أنك تستخدم طريقة النشر لتمرير اسمك وبعض القيمة إلى صفحة النشر الخاصة ب examplewebsite.com.
الآن أنت تعرف ما هو cURL ، ودعنا ننتقل إلى استخدامه مع الوكلاء.
سيساعد تكوين cURL باستخدام عنوان وكيل الأشخاص على تحسين اتصال البيانات الخاص بهم بكل ميزات الوكيل هذه.
سيضمن استخدام cURL مع وكيل للمستخدمين إخفاء هويتهم عن الخادم. إذا كان المستخدمون يفضلون استرداد المعلومات دون السماح للآخرين بمعرفة هويتهم الفعلية ، فيمكن تكوين عنوان وكيل مع طلب أمر cURL الخاص بهم. في هذه الحالة ، سيقوم الوكيل بإعادة توجيه طلب المستخدم نيابة عنه ، وإخفاء الهوية الفعلية. Proxyscrape يوفر وكلاء لجميع أنواع البروتوكولات مثل HTTPs ، Socks4و Socks5 التي يمكن أن تحافظ على عدم الكشف عن هويتها لجميع أنواع الطلبات
عندما يتم تقييد مستخدمي موقع واحد من كشط المحتوى من مواقع الحدود الجغرافية الأخرى ، سيساعدهم الوكلاء على تجاوز هذه القيود. Proxyscrape يوفر وكلاء لبلدان متعددة بحيث يمكن للمستخدمين اختيار الوكيل المطلوب لتجاوز الكتل الجغرافية.
يمكنك استخدام الوكلاء للاتصال بموقع ويب باستخدام cURL. على سبيل المثال ، تعد الخوادم الوكيلة ضرورية في الظروف التي تستخدم فيها cURL لكشط البيانات. ثم تظل مجهول الهوية لموقع الويب المستهدف الذي تقوم بكشط منه.
للاتصال بالوكلاء ، ستحتاج إلى عنوان الخادم الوكيل ورقم المنفذ ونوع البروتوكول ، وإذا كانت المصادقة مطلوبة ، فستحتاج إلى إدخال اسم المستخدم وكلمة المرور. لنلق نظرة على مثال بسيط: نفترض أن عنوان الوكيل هو 127.0.0.1 ورقم المنفذ هو 8920. المثال المذكور أدناه هو أساسيات وكلاء الاتصال مع cURL ، والتي ستعمل مع أي خدمة وكيل.
سيكون بناء جملة الاتصال بوكيل هو:
curl - عنوان الوكيل الوكيل : المنفذ https://examplewebsite.comيستعاض عنه بما يلي:
curl --proxy 127.0.0.1:8920 https://examplewebsite.comسيقوم الأمر أعلاه بتوجيه اتصالك عبر وكيل إلى examplewebsite.com.
سننظر الآن في مثال يتطلب المصادقة حيث يكون اسم المستخدم هو اسم المستخدم وكلمة المرور هي كلمة المرور.
curl --proxy 127.0.0.1:8920 -U "اسم المستخدم: كلمة المرور" https://examplewebsite.comيمكنك الآن معرفة الأوامر التي يجب استخدامها عند توصيل cURL ببروتوكول وكيل ، باستخدام:
حليقة - مساعدةمما لا شك فيه أنه سيعود بقائمة ضخمة ، وسنركز على الأمر الأساسي المدرج أدناه:
-x, --proxy [protocol://]host[:p ort]في هذا الأمر ، يشير x جنبا إلى جنب مع –proxy إلى تفاصيل الوكيل ، حيث يمكنك استخدام أي منهما لأن كلاهما صحيح. ومع ذلك ، ضع في اعتبارك أن x حساس لحالة الأحرف.
أيضا ، للتأكد من أنك تستخدم وكلاء ، يمكنك استخدام الأمر التالي:
الضفيرة http://httpbin.org/ipعادة ما يقوم هذا الأمر بإرجاع عنوان IP الخاص بالأصل. لذلك إذا كنت تستخدم خادما وكيلا ، فسيعيد عنوان IP للخادم الوكيل بدلا من عنوانك.
الآن ، بتجميع كل ذلك معا ، يمكنك إرسال الطلب على النحو التالي:
حليقة - وكيل "http://username:[البريد الإلكتروني محمي]:8920" "http://httpbin.org/ip"أيضا ، سيكون الأمر أدناه هو نفسه الوارد أعلاه:
حليقة --x "http://username:[البريد الإلكتروني محمي]:8920" "http://httpbin.org/ip"هناك حقيقة مهمة يجب وضعها في الاعتبار هنا وهي أنه يجب عليك استخدام علامات الاقتباس لكل من عنوان URL للوكيل وعنوان URL المستهدف كأفضل ممارسة. ويرجع ذلك إلى وجود أحرف خاصة في عنوان URL.
أيضا ، إذا حصلت على أي أخطاء في شهادة SSL ، فأنت بحاجة إلى إضافة الأحرف الصغيرة -k إلى نهاية الأمر كما هو موضح أدناه:
حليقة - وكيل "http://username:[البريد الإلكتروني محمي]:8920" "http://httpbin.org/ip" -k. سيسمح هذا للاتصالات غير الآمنة بالمرور عند استخدام اتصال SSL.
عند استخدام الوكلاء ، يكون البروتوكول الافتراضي هو HTTP ما لم ينص صراحة على خلاف ذلك. لذلك فإن كلا الأمرين التاليين صحيحان:
حليقة - وكيل "http://username:[البريد الإلكتروني محمي]:8920" "http://httpbin.org/ip".
curl - وكيل "اسم المستخدم: [البريد الإلكتروني محمي]:8920" "http://httpbin.org/ip".إذا كنت ترغب في الحصول على وكيل ل cURL ، فيمكنك إنشاء ملف تكوين curl بالطريقة التالية.
إذا كنت تستخدم macOS أو Linux ، أولا وقبل كل شيء ، يجب عليك فتح الجهاز والانتقال إلى الدليل الرئيسي الخاص بك. إذا كان هناك .curlrc ، فأنت بحاجة إلى فتحه وإنشاء ملف فارغ جديد. يمكنك استخدام الأوامر أدناه للانتقال إلى الملف:
مؤتمر نزع السلاح ~
نانو .كيرلرك.لذلك تحتاج إلى إضافة هذا السطر في الملف:
الوكيل = "http://username: [البريد الإلكتروني محمي]: 8920"احفظ الملف ، والآن يمكنك استخدام cURL مع الوكلاء. ببساطة عليك تشغيل cURL بشكل طبيعي ، وسوف يقرأ الوكيل من الملف أعلاه:
حليقة "http://httpbin.org/ip"صدى ٪ APPDATA٪لذلك سيعيد الأمر أعلاه المسار ، وعليك الانتقال إليه. ثم تحتاج إلى إنشاء ملف _curlrc وتعيين الوكيل كما هو الحال مع macOS أو Linux.