When you hear “Headless browser,” I’m sure it is not a familiar tech gadget that you may have encountered in your everyday lives unless you know deep down how browsers function technically. Most of you are familiar with peculiar browsers such as Google Chrome, Firefox, Safari, etc. So the only difference is that headless browsers
عندما تسمع "متصفح مقطوع الرأس" ، فأنا متأكد من أنه ليس أداة تقنية مألوفة ربما تكون قد واجهتها في حياتك اليومية إلا إذا كنت تعرف في أعماقك كيف تعمل المتصفحات تقنيا.
معظمكم على دراية بالمتصفحات الغريبة مثل Google Chrome و Firefox و Safari وما إلى ذلك. لذا فإن الاختلاف الوحيد هو أن المتصفحات مقطوعة الرأس هي تلك المتصفحات الغريبة بدون رؤوسها. سنستكشف ما يعنيه هذا في القسم التالي ، بالإضافة إلى فوائدها.
هل يمكنك أن تتخيل كيف ستكون حياتك إذا لم يكن لدى Google Chrome أو Firefox واجهة مستخدم رسومية؟ ما لم تكن مهندس برمجيات أو شخصا لديه عيار عالي التقنية ، فلن تهتم باستخدامه.
لذلك ، يعمل المتصفح مقطوع الرأس بدون أزرار وأيقونات وأشرطة تمرير وروابط رائعة تتيح التنقل من موقع إلى آخر. لذا فإن الطريقة الوحيدة لإنشاء اتصال مع متصفح مقطوع الرأس هي استخدام واجهة سطر الأوامر عبر الشبكة.
من الناحية الفنية ، سيكون للمتصفح مقطوع الرأس مترجم جافا سكريبت ومكون شبكة وتخطيط ومحركات عرض بدون واجهة المستخدم الرسومية.
ثم قد تسأل ما هيك يمكن لأي شخص أن يكسبه باستخدام متصفح مقطوعة الرأس عندما يمكنك تحقيق نفس النتيجة عبر متصفح مع واجهة المستخدم الرسومية؟
دعنا نجد الإجابة عليها أدناه.
حسنا ، أولا وقبل كل شيء ، المتصفحات مقطوعة الرأس أسرع نسبيا من المتصفحات اليومية. إنه في المقام الأول نتيجة لعدم تحميل أي CSS و Javascript و HTML كما تفعل المتصفحات العادية. كما أنها تستخدم ذاكرة أقل مقارنة بالمتصفحات القياسية ذات موارد استضافة أقل بكثير.
أيضا ، توفر المتصفحات مقطوعة الرأس إنتاجيتك ووقتك من خلال أتمتة الاختبار والجودة والتطوير العام لموقع ويب أو تطبيق جوال. علاوة على ذلك ، يمكن للمتصفحات مقطوعة الرأس مراقبة أداء تطبيقات الشبكة وأتمتة عملية عرض الصور والتقاطها لفحوصات التخطيط الآلية.
ثم الدخول في تجريف الويب ، تمكنك المتصفحات مقطوعة الرأس من كشط مواقع الويب دون تشغيل موقع الويب يدويا قبل الكشط. يمكنك كشط HTML لموقع الويب على الفور.
بالإضافة إلى ذلك ، تلعب المتصفحات مقطوعة الرأس دورا حيويا في نتائج بحث Google. نظرا لأن محركات البحث لا تتطلب سوى مصدر HTML للصفحة لفهرسة صفحات الويب ، فإن المتصفحات مقطوعة الرأس تجعل ذلك ممكنا عن طريق تنفيذ جافا سكريبت وملء المحتوى في مكانه. وقد أدى ذلك إلى تطور سريع في المتصفحات مقطوعة الرأس أيضا.
فيما يلي قائمة مختصرة بالمهام التي يؤديها متصفح مقطوعة الرأس:
الهدف الأساسي من استخدام متصفح مقطوع الرأس هو اختبار وظائف تطبيق الويب وميزات واجهة المستخدم. يمكنه اختبار تطبيقات الويب عن طريق أتمتة مهام الاختبار اليومية مثل كتابة البيانات في الحقول وملء النماذج ومحاكاة الأحمال والمرور عبر مهام سير العمل بأكملها. من ناحية أخرى ، يمكنك أتمتة الاختبارات للأنظمة التي تفتقر إلى واجهة المستخدم الرسومية.
يمكن للمتصفحات مقطوعة الرأس أيضا اختبار كيفية تفاعل المستخدم مع مكونات UI / UX لموقع الويب. يقوم بذلك عن طريق أتمتة نقرات الأزرار والتمرير وتحديدات الألوان وأنواع الخطوط والتفاعلات مع تخطيطات صفحة الويب.
يتضمن اختبار تخطيط الصفحة أيضا تحديد الحجم الافتراضي لصفحة الويب والإحداثيات.
يمكن للمتصفحات مقطوعة الرأس التقاط لقطات شاشة لصفحات الويب وحفظها كملفات PDF. علاوة على ذلك ، يقدمون اختبارات تنفيذ JavaScript و Ajax أيضا.
تتضمن بعض الاختبارات الأساسية الأخرى التي يمكن لمتصفح مقطوعة الرأس معالجتها التقاط تتبع الجدول الزمني لموقع الويب لتشخيص الأداء.
لا تنبع شعبية المتصفحات مقطوعة الرأس من اختبار تطبيقات الويب فحسب ، بل تنبع أيضا من قدر لا بأس به من تجريف الويب. إنها تسمح لناشطات الويب بجمع البيانات حتى من أكثر مواقع الويب الوجهة تحديا عن طريق تحميل ومحاكاة متصفح أصلي.
هذا الاستخراج يلغي الحاجة إلى أدوات استخراج HTML لكشط البيانات التي أصبحت صعبة بسبب شعبية جافا سكريبت.بعض المخاوف من استخدام أدوات الاستخراج هذه هي التحميل غير المتزامن ، وبصمات المتصفح ، والتمرير اللانهائي.
في النقطة الأولى أعلاه ، قمنا بتغطية أتمتة المهام باستخدام متصفحات مقطوعة الرأس تتعلق باختبار تطبيقات الويب. لذا فإن الإضافة الوحيدة إلى الأتمتة هي القدرة على استخدام المتصفحات مقطوعة الرأس لأتمتة تفاعل موقع الويب لتقليد العديد من المتصفحات على جهاز واحد دون التسبب في استنزاف الموارد.
هناك العديد من المتصفحات مقطوعة الرأس. بصفتك مطور ويب ، يجب أن تجرب نكهات مختلفة من المتصفحات مقطوعة الرأس للحصول على أفضل مزيج لأتمتة حالات الاختبار وكشط الويب.
دعنا نكتشف ما هي:
استنادا إلى مشروع Google Chromium مفتوح المصدر ، فهو متصفح خفيف الوزن مقطوع الرأس. وهو يدعم جافا سكريبت ولديه ترخيص BSD.
يحتوي على واجهة سطر أوامر لمسح بيانات موقع الويب وكشطها على الفور. بالإضافة إلى ذلك ، فإنه يستهلك ذاكرة أقل ويتضمن ميزات مبتكرة وأدوات تطوير ويب سهلة الاستخدام وأدوات محددة سهلة الاستخدام للمطورين. يعمل Chrome بدون رأس على جميع الأنظمة الأساسية ، بما في ذلك Windows و Mac OS X و Linux.
غالبا ما يستخدمه مطورو الويب لكشط البيانات من مواقع الويب ، والتقاط لقطات شاشة من مواقع الويب ، وإنشاء ملفات PDF من صفحات الويب. الأمر الأكثر روعة في الكروم مقطوع الرأس هو أنه يمكنك أيضا كشط البيانات والصور دون تحميل واجهة المستخدم الرسومية للمتصفح.
يستخدم المطورون أيضا متصفحات مقطوعة الرأس لاختبار مستويات مختلفة من التنقل لضمان أن المستخدمين على الأجهزة المحمولة وأجهزة سطح المكتب يمكنهم التنقل بسهولة.
ثم يعد محرك الدمى والسيلينيوم من أكثر الأدوات شيوعا التي تتحكم في Chrome مقطوع الرأس. كما تعلمون ، صنع السيلينيوم بالفعل اسما في ساحة الاختبار. بينما يستخدم Puppeteer ، من ناحية أخرى ، الوكلاء للزحف إلى الصفحات والنقر فوق المكونات وتنزيل البيانات.
HtmlUnit هو متصفح مقطوع الرأس تم تطويره في Java لأتمتة تفاعل موقع الويب مع المستخدمين. هذا المتصفح مثالي لاختبار مواقع الويب أو استرداد المعلومات منها. إنه الأسرع في التثبيت مقارنة بالآخرين.
يمكن أيضا استخدام HTMLUnit لإنشاء واختبار ميزات موقع التجارة الإلكترونية مثل أمان الموقع وتقديم النماذج والتنقل وما إلى ذلك. يمكنك كمطور استخدامه لمصادقة HTTP وأداء صفحة HTTPS وأداء رأس HTTP وإعادة توجيه الرابط إلى مواقع الويب الأخرى وملء النماذج وعمليات الإرسال.
يتوفر الإصدار مقطوع الرأس من Firefox في الإصدار 56 أو أعلى. إنه يمكن المطورين من تنفيذ العديد من واجهات برمجة التطبيقات في وقت واحد. عند القيام بذلك ، لا تحتاج إلى استخدام أدوات محاكاة متعددة للاختبار المرتبط بتطوير الويب.
لذلك يمكنك الجمع بين أي برامج تشغيل ويب ، مثل السيلينيوم و Slimmer JS و W3C WebDriver ، مع Firefox مقطوع الرأس لاختبارات أتمتة متصفح الويب. السيلينيوم هو برنامج التشغيل الموصى به لقيادة عمليات الاختبار والأتمتة في الإصدار مقطوع الرأس من Firefox ، من بين برامج تشغيل الويب الثلاثة التي ذكرتها.
Phantom JS هو متصفح WebKit مفتوح المصدر بدون رأس يمكنك تشغيل البرامج النصية عليه. يتم تشغيله على JavaScript و PHP و Objective-C و C # و Python و Java و Haskell و Ruby و R APIs باستخدام 3-Clause و BSD ، على الرغم من عدم صيانة PhantomJS.
يوفر Phantom JS دعما أصليا لعمليات تطوير الويب مثل معالجة DOM و SVG ومحددات CSS و Canvas و JSON في مرحلة سريعة. من ناحية أخرى ، فإنه يدير العديد من التعقيدات في اختبارات وعمليات أتمتة متصفح الويب عن طريق الاتصال من خلال واجهة سطر الأوامر.
يستخدم المطورون بشكل متكرر phantom JS لالتقاط لقطات شاشة لصفحات الويب ، وإجراء تنبؤات سلوكية ، والتنقل في الاختبار متعدد المستويات ، والتفاعل مع أنواع تأكيد متعددة.
كما اكتشفت سابقا ، فإن أحد الاستخدامات العملية للمتصفحات مقطوعة الرأس هو تجريف الويب. سيفهم هذا القسم كيف يمكنك منع إدراجك في القائمة السوداء أو حظره أثناء الكشط باستخدام متصفح مقطوع الرأس.
عندما تستخدم أدوات مثل السيلينيوم متصفحا مقطوع الرأس مثل Google Chrome مقطوع الرأس أو Firefox مقطوع الرأس للتخلص من البيانات ، فسيظهر لموقع الويب المستهدف كروبوت يزحف إلى موقع ويب بدلا من إنسان.
على سبيل المثال ، نظرا لأن معظم مواقع الويب مبرمجة بلغات عالية المستوى مثل PHP ، فيمكنها اكتشاف نسبة النقر إلى الظهور. هذا يعني أنه يمكنه معرفة ما إذا كان المستخدم قد نقر على زر للانتقال إلى صفحة أخرى داخل موقع أو انتقل فقط إلى عنوان URL دون النقر فوق الزر ولكن باستخدام رابط يتصل به.
يمكنك كمطور ترميز أدوات مثل السيلينيوم للكتابة أو النقر أو التمرير عبر أي موقع ويب عند استخدام متصفح مقطوع الرأس. لذلك ، يوضح لموقع الويب الوجهة أن الإنسان يصل إلى موقع الويب وليس الروبوت.
ومع ذلك ، قد تكون هناك سلبيات لاستخدام السيلينيوم مع متصفح مقطوعة الرأس. سيكون الشاغل الأكبر هو السرعة البطيئة أثناء كشط صفحات الويب. ومع ذلك ، قد يكون هذا البطء ضئيلا مقارنة بالمزايا الأخرى للمتصفحات مقطوعة الرأس التي تمت مناقشتها في القسم أعلاه ، "لماذا تستخدم متصفحا مقطوع الرأس؟"
من ناحية أخرى ، ليس له أي تأثير على السرعة التي تتخلص بها من موقع الويب ؛ إنها ببساطة مسألة التبديل بين الصفحات. بشكل عام ، يستحق كشط موقع ويب باستخدام متصفح مقطوع الرأس تجربة حيث يمكنك تجاهل العيوب التي لا تذكر.
في هذا القسم ، ستفهم سبب حاجتك إلى وكلاء دوارين لكشط المتصفحات مقطوعة الرأس.
عندما تقوم بكشط البيانات من موقع ويب باستخدام خادم وكيل ومتصفح مقطوع الرأس ، يمكنك كشط البيانات بشكل مجهول دون أن يقيد خادم موقع الويب عنوان IP الخاص بك.
يمكنك الوصول إلى البيانات وكشطها من مواقع الويب ذات المحتوى المقيد جغرافيا باستخدام وكيل دوار. لتحقيق ذلك ، يمكنك استخدام تجمع الوكيل الدوار السكني الذي توفره ProxyScrape، بحيث يمكنك كشط عناوين IP من مواقع متعددة دون أن يحظرك موقع الويب المستهدف. علاوة على ذلك ، يمكنك كشط بيانات المنتج من منصات التجارة الإلكترونية مثل Amazon ، على سبيل المثال ، مع عدد كبير من الطلبات.
ProxyScrape تسمح لك عناوين IP الدوارة بتشغيل عدة جلسات على موقع ويب. وهذا بدوره سيساعد في الالتفاف على قيود IP الشاملة التي تمنع أكوام طلبات البيانات.
سيساعدك الوكلاء الدوارون أيضا في التغلب على الحظر الذي يحدث عند محاولة أتمتة المهام باستخدام متصفحات مقطوعة الرأس.
الآن بعد أن عرفت ما هي المتصفحات مقطوعة الرأس ، ومتى ولماذا يتم استخدامها ، وأنواع مختلفة. أيضا ، تطرقنا إلى كيفية تجنبهم للكتل أثناء الكشط. عند استخدام الوكلاء الدوارين ، سيؤدي ذلك إلى زيادة تعزيز عملية الكشط الخاصة بك لأنه يجلب إخفاء الهوية والعديد من الفوائد الأخرى.
لذا ، في الختام ، نأمل أن تقوم بتنفيذ الآليات المذكورة في هذه المقالة. يجب عليك القيام بذلك عندما تواجه تجريف الويب باستخدام متصفح مقطوع الرأس.