استخدام المتصفحات بدون رأس والوكلاء لكشط أي موقع إلكتروني

عندما تسمع عبارة "متصفح بلا رأس"، أنا متأكد من أنها ليست أداة تقنية مألوفة قد تكون واجهتها في حياتك اليومية إلا إذا كنت تعرف في أعماقك كيف تعمل المتصفحات من الناحية التقنية. معظمكم على دراية بالمتصفحات الغريبة مثل جوجل كروم وفايرفوكس وسفاري وغيرها. لذا فالفرق الوحيد هو أن المتصفحات مقطوعة الرأس

عندما تسمع عبارة "متصفح بلا رأس"، فأنا متأكد من أنها ليست أداة تقنية مألوفة قد تكون واجهتها في حياتك اليومية إلا إذا كنت تعرف في أعماقك كيف تعمل المتصفحات من الناحية التقنية.

معظمكم على دراية بالمتصفحات الغريبة مثل جوجل كروم وفايرفوكس وسفاري وغيرها. لذا فالفرق الوحيد هو أن المتصفحات بدون رأس هي تلك المتصفحات الغريبة بدون رؤوس. سنستكشف ما يعنيه ذلك في القسم التالي، بالإضافة إلى فوائدها.

ما هو المتصفح بدون رأس؟

هل يمكنك أن تتخيل كيف ستكون حياتك إذا لم يكن لدى جوجل كروم أو فايرفوكس واجهة مستخدم رسومية؟ ما لم تكن مهندس برمجيات أو شخصًا ذا كفاءة تقنية عالية، فلن تزعج نفسك باستخدامه.

لذلك، يعمل المتصفح مقطوع الرأس بدون أزرار وأيقونات وأشرطة تمرير وروابط تتيح التنقل من موقع إلى آخر. لذا فإن الطريقة الوحيدة لإنشاء اتصال مع متصفح بدون رأس هي استخدام واجهة سطر أوامر عبر الشبكة. 

من الناحية الفنية، سيحتوي المتصفح مقطوع الرأس على مترجم JavaScript، ومكونات الشبكة، والتخطيط، ومحركات العرض دون واجهة المستخدم الرسومية.

ثم قد تسأل ما الذي يمكن أن يستفيده أي شخص باستخدام متصفح بدون رأس بينما يمكنك تحقيق نفس النتيجة عبر متصفح بواجهة مستخدم رسومية؟

لنجد الإجابة على ذلك أدناه.

لماذا استخدام متصفح بدون رأس؟

حسنًا، أولاً، المتصفحات بدون رأس أسرع نسبيًا من المتصفحات العادية. ويرجع ذلك في المقام الأول إلى عدم تحميل أي CSS وJavascript وHTML كما تفعل المتصفحات العادية. كما أنها تستخدم ذاكرة أقل مقارنة بالمتصفحات العادية مع موارد استضافة أقل بكثير.

بالإضافة إلى ذلك، توفر المتصفحات بدون رأس إنتاجيتك ووقتك من خلال أتمتة الاختبار والجودة والتطوير الشامل للويب أو تطبيق الهاتف المحمول. وعلاوة على ذلك، يمكن للمتصفحات بدون رأس مراقبة أداء تطبيقات الشبكة وأتمتة عملية عرض الصور والتقاطها للتحقق من التخطيط الآلي.

ثم نأتي إلى كشط الويب، تمكّنك المتصفحات بدون رأس من كشط مواقع الويب دون تشغيل الموقع يدويًا قبل الكشط. يمكنك كشط HTML الخاص بالموقع الإلكتروني مباشرةً.

بالإضافة إلى ذلك، تلعب المتصفحات بدون رأس دوراً حيوياً في نتائج بحث جوجل. نظرًا لأن محركات البحث لا تتطلب سوى مصدر HTML لصفحة ما لفهرسة صفحات الويب، فإن المتصفحات بدون رأس تجعل ذلك ممكنًا من خلال تنفيذ Javascript وملء المحتوى في مكانه. وقد أدى ذلك إلى تطور سريع في المتصفحات بدون رأس أيضًا.

ما هي المتصفحات مقطوعة الرأس؟

فيما يلي قائمة مختصرة بالمهام التي يؤديها المتصفح مقطوع الرأس:

اختبار موقع الويب

الهدف الأساسي من استخدام متصفح بدون رأس هو اختبار وظائف تطبيقات الويب وميزات واجهة المستخدم. ويمكنه اختبار تطبيقات الويب من خلال أتمتة مهام الاختبار اليومية مثل كتابة البيانات في الحقول، وملء النماذج، ومحاكاة الأحمال، والمرور بسير العمل بالكامل. من ناحية أخرى، يمكنك أتمتة اختبارات الأنظمة التي تفتقر إلى واجهة المستخدم الرسومية.

يمكن للمتصفحات مقطوعة الرأس أيضًا اختبار كيفية تفاعل المستخدم مع مكونات واجهة المستخدم/تجربة المستخدم في موقع الويب. وهي تقوم بذلك من خلال أتمتة النقرات على الأزرار، والتمرير، واختيارات الألوان، وأنواع الخطوط، والتفاعلات مع تخطيطات صفحات الويب. 

يتضمن اختبار تخطيط الصفحة أيضًا تحديد الحجم الافتراضي لصفحة الويب والإحداثيات. 

يمكن للمتصفحات بدون رأس التقاط لقطات شاشة لصفحات الويب وحفظها كملفات PDF. علاوة على ذلك، فهي توفر اختبارات تنفيذ JavaScript و Ajax أيضًا.

تتضمن بعض الاختبارات الأساسية الأخرى التي يمكن لمتصفح بلا رأس معالجتها التقاط التتبع الزمني لموقع الويب لتشخيص الأداء.

كشط الويب

لا تنبع شعبية المتصفحات مقطوعة الرأس من اختبار تطبيقات الويب فحسب، بل تنبع أيضاً من اختبار تطبيقات الويب. فهي تسمح لمُتصفِّحي الويب بجمع البيانات من أكثر مواقع الويب الوجهة صعوبة من خلال تحميل ومحاكاة متصفح أصلي.

يبطل هذا الاستخراج الحاجة إلى أدوات استخراج HTML لكشط البيانات التي أصبحت صعبة بسبب شعبية JavaScript، ومن بين المخاوف المتعلقة باستخدام أدوات الاستخراج هذه التحميل غير المتزامن، وبصمات المتصفح، والتمرير اللانهائي.

أتمتة المهام

في النقطة الأولى أعلاه، قمنا بتغطية أتمتة المهام باستخدام متصفحات بدون رأس تتعلق باختبار تطبيقات الويب. لذا فإن الإضافة الوحيدة للتشغيل الآلي هي القدرة على استخدام متصفحات بدون رأس لأتمتة التفاعل مع مواقع الويب لمحاكاة العديد من المتصفحات على جهاز واحد دون التسبب في استنزاف الموارد.

ما هي الأنواع المختلفة من المتصفحات مقطوعة الرأس؟

هناك العديد من المتصفحات بدون رأس. كمطوّر ويب، يجب عليك كمطوّر ويب أن تجرّب أنواعًا مختلفة من المتصفحات بدون رأس للحصول على أفضل مزيج لأتمتة حالات الاختبار وكشط الويب.

لنكتشف ما هي:

متصفح جوجل كروم بدون رأس (الإصدار 59 أو أعلى)

يعتمد على مشروع Google Chromium مفتوح المصدر من Google Chromium، وهو متصفح خفيف الوزن بدون رأس. يدعم JavaScript ولديه ترخيص BSD.

يحتوي على واجهة سطر أوامر للمسح الفوري لبيانات الموقع الإلكتروني وكشطها. بالإضافة إلى ذلك، فهو يستهلك ذاكرة أقل ويتضمن ميزات مبتكرة وأدوات تطوير ويب سهلة الاستخدام وأدوات خاصة صديقة للمطورين. يعمل كروم بدون رأس على جميع المنصات، بما في ذلك ويندوز وماك أو إس إكس ولينكس.

غالبًا ما يستخدمه مطورو الويب لكشط البيانات من مواقع الويب، والتقاط لقطات شاشة من مواقع الويب، وإنشاء ملفات PDF من صفحات الويب. الأمر الأكثر روعة في الكروم بدون رأس هو أنه يمكنك أيضًا كشط البيانات والصور دون تحميل واجهة المستخدم الرسومية للمتصفح.

يستخدم المطورون أيضًا متصفحات بدون رأس لاختبار مستويات مختلفة من التنقل للتأكد من أن المستخدمين على الأجهزة المحمولة وأجهزة سطح المكتب يمكنهم التنقل بسهولة.

ثم إن Puppeteer وSelenium هما من أكثر الأدوات شيوعًا التي تتحكم في كروم بدون رأس. وكما تعلم، فقد حقق سيلينيوم بالفعل شهرة في مجال الاختبار. في حين أن Puppeteer، من ناحية أخرى، تستخدم البروكسي للزحف إلى الصفحات والنقر على المكونات وتنزيل البيانات.

HtmlUnit

HtmlUnit هو متصفح بدون رأس تم تطويره بلغة جافا لأتمتة التفاعل مع المستخدمين في مواقع الويب. هذا المتصفح مثالي لاختبار المواقع الإلكترونية أو استرجاع المعلومات منها. وهو الأسرع في التثبيت مقارنة بالمتصفحات الأخرى.

يمكن استخدام HTMLUnit أيضًا لإنشاء واختبار ميزات موقع التجارة الإلكترونية على الويب واختبارها مثل أمان الموقع، وإرسال النماذج، والتنقل، وما إلى ذلك. يمكنك كمطور أن تستخدمه في عمليات مصادقة HTTP، وأداء صفحة HTTPS، وأداء رأس HTTP، وإعادة توجيه الروابط إلى مواقع إلكترونية أخرى، وملء النماذج وعمليات الإرسال. 

متصفح Mozilla Firefox بدون رأس (الإصدار 56 أو أعلى)

يتوفر الإصدار مقطوع الرأس من Firefox في الإصدار 56 أو أعلى. وهو يمكّن المطورين من تنفيذ العديد من واجهات برمجة التطبيقات في وقت واحد. عند القيام بذلك، لا تحتاج إلى استخدام أدوات محاكاة متعددة للاختبار المرتبط بتطوير الويب.

لذلك يمكنك دمج أي برامج تشغيل للويب، مثل Selenium و Slimmer JS و W3C WebDriver، مع فايرفوكس مقطوع الرأس لإجراء اختبارات أتمتة متصفح الويب. سيلينيوم هو برنامج التشغيل الموصى به لقيادة عمليات الاختبار والتشغيل الآلي في الإصدار مقطوع الرأس من فايرفوكس، من بين برامج تشغيل الويب الثلاثة التي ذكرتها.

PhantomJS Webkit

Phantom JS هو متصفح WebKit مفتوح المصدر بدون رأس يمكن تشغيل البرامج النصية عليه. وهو يعمل على JavaScript و PHP و Objective-C و C# و Python و Java و Haskell و Ruby و R APIs باستخدام 3-Clause و BSD، على الرغم من أن PhantomJS لا تتم صيانتها. 

يوفر Phantom JS دعمًا أصليًا لعمليات تطوير الويب مثل معالجة DOM، و SVG، ومحددات CSS، و Canvas، و JSON في مرحلة سريعة. من ناحية أخرى، يدير العديد من التعقيدات في اختبارات وعمليات أتمتة متصفح الويب عن طريق الاتصال من خلال واجهة سطر الأوامر.

يستخدم المطورون بشكل متكرر JS الوهمية لالتقاط لقطات شاشة لصفحات الويب، وإجراء تنبؤات سلوكية، واختبار التنقل متعدد المستويات، والتفاعل مع أنواع متعددة من التأكيدات.

استخدام متصفح بدون رأس لتجنب الإدراج في القائمة السوداء أو الحظر

كما اكتشفت سابقاً، فإن أحد الاستخدامات العملية للمتصفحات بدون رأس هو كشط الويب. سيوضح لك هذا القسم كيف يمكنك منع إدراجك في القائمة السوداء أو حظرك أثناء الكشط باستخدام متصفح مقطوع الرأس.

عندما تستخدم أدوات مثل Selenium متصفحًا مقطوع الرأس مثل Google Chrome مقطوع الرأس أو Firefox مقطوع الرأس لإلغاء البيانات، سيظهر للموقع المستهدف على أنه روبوت يزحف إلى موقع ويب بدلاً من إنسان.

على سبيل المثال، نظرًا لأن معظم المواقع الإلكترونية مبرمجة بلغات عالية المستوى مثل PHP، فيمكنها اكتشاف معدل النقر. هذا يعني أنه يمكنها معرفة ما إذا كان المستخدم قد نقر على زر للانتقال إلى صفحة أخرى داخل الموقع أو أنه انتقل إلى عنوان URL فقط دون النقر على الزر ولكن مع وجود رابط يتصل به.

يمكنك كمطور أن تبرمج أدوات مثل سيلينيوم للكتابة أو النقر أو التمرير عبر أي موقع إلكتروني عند استخدام متصفح بدون رأس. ومن ثم، يوضح ذلك للموقع الإلكتروني الوجهة أن إنسانًا يدخل إلى الموقع الإلكتروني وليس روبوتًا.

ومع ذلك، قد تكون هناك سلبيات لاستخدام سيلينيوم مع متصفح بدون رأس. أكبر مصدر للقلق هو بطء السرعة أثناء كشط صفحات الويب. ومع ذلك، يمكن أن يكون هذا البطء ضئيلاً مقارنةً بالمزايا الأخرى للمتصفحات مقطوعة الرأس التي تمت مناقشتها في القسم أعلاه، "لماذا استخدام متصفح مقطوع الرأس؟

من ناحية أخرى، ليس له أي تأثير على سرعة كشط موقع الويب؛ إنها ببساطة مسألة تبديل بين الصفحات. بشكل عام، فإن كشط موقع ويب باستخدام متصفح بدون رأس يستحق التجربة حيث يمكنك تجاهل العيوب التي لا تذكر.

كيفية استخدام البروكسيات الدوارة مع المتصفحات بدون رأس

في هذا القسم، ستفهم سبب حاجتك إلى وكلاء دوّارين لكشط المتصفحات بدون رأس.

عندما تقوم بكشط البيانات من موقع ويب باستخدام خادم وكيل ومتصفح بدون رأس، يمكنك كشط البيانات بشكل مجهول دون أن يقوم خادم الموقع بتقييد عنوان IP الخاص بك.

يمكنك الوصول إلى البيانات وكشطها من مواقع الويب ذات المحتوى المقيد جغرافيًا باستخدام وكيل دوّار. ولتحقيق ذلك، يمكنك استخدام تجمع البروكسي الدوار السكني الذي يوفره ProxyScrape ، بحيث يمكنك الكشط باستخدام عناوين IP من مواقع متعددة دون أن يحظرك الموقع المستهدف. وعلاوة على ذلك، يمكنك كشط بيانات المنتجات من منصات التجارة الإلكترونية مثل أمازون، على سبيل المثال، مع عدد كبير من الطلبات.

ProxyScrape تسمح لك عناوين IP الدوارة بتشغيل عدة جلسات على موقع ويب. وهذا بدوره سيساعد على الالتفاف على قيود IP الشاملة التي تحظر أكوامًا من طلبات البيانات.

سيساعدك تدوير البروكسيات أيضًا على تجاوز الحظر الذي يحدث عند محاولة أتمتة المهام باستخدام متصفحات بدون رأس.

الخاتمة

والآن بعد أن عرفت ما هي المتصفحات بدون رأس، ومتى ولماذا تُستخدم، وأنواعها المختلفة. كما تطرقنا أيضًا إلى كيفية تجنبها للحجب أثناء الكشط. عندما تستخدم البروكسيات الدوارة، فإنها ستعزز عملية الكشط لأنها تجلب لك إخفاء الهوية والعديد من المزايا الأخرى.

لذا، في الختام، نأمل أن تطبق الآليات المذكورة في هذا المقال. يجب عليك القيام بذلك عندما تواجهك مشكلة كشط الويب باستخدام متصفح بدون رأس.