كشط الويب لتوليد العملاء المحتملين: آلاف العملاء المحتملين في متناول يدك

سبب أهمية توليد العملاء المحتملين يعد توليد العملاء المحتملين جزءًا أساسيًا من تنمية أعمالك. إذا لم يكن لدى فريق المبيعات الخاص بك عملاء محتملين للتواصل معهم، فلن يتمكنوا من القيام بعملهم. نادراً ما يكون الاتصال البارد بالعملاء المحتملين فعالاً، خاصةً بالنسبة للعلامات التجارية التي تبيع منتجات ذات قيمة أعلى حيث يوجد بعض الاحتكاك بفكرة إجراء عملية شراء. كل عملية بيع تبدأ بـ

جدول المحتويات

• أهمية توليد العملاء المحتملين
• كل عملية بيع بدأت كعميل محتمل
• قوة الويب في متناول يدك
• ما هو "كشط الويب"؟
• كيف تعمل كاشطات الويب؟
• تحديات استخدام الكاشطات
• اختيار مصادر البيانات للعملاء المحتملين ذوي الجودة العالية
• اختر مصدر بياناتك بعناية
• النظر في المواقع التي تتطلب تسجيل الدخول
• قم ببناء استفساراتك بشكل صحيح
• خيارات برامج الكاشطة: الأدوات الشائعة
• ترميز المكشطة الخاصة بك
• إيجابيات وسلبيات ترميز المكشطة الخاصة بك
• القواعد الذهبية لكشط الويب
• استكشاف أخطاء المكشطة وإصلاحها
• المكشطة لا تلتقط أي بيانات
• تعمل الكاشطة لفترة من الوقت، ثم تتوقف عن العمل
• المكشطة ترتبك وتمر بحلقة لا نهاية لها من الصفحات
• التسويق الأخلاقي: استخدم عملاءك المحتملين الذين تم مسحهم بحكمة
• تنظيف قاعدة بياناتك وصيانتها

أهمية توليد العملاء المحتملين

يعد توليد العملاء المحتملين جزءًا أساسيًا من تنمية أعمالك. إذا لم يكن لدى فريق المبيعات الخاص بك عملاء محتملين للتواصل معهم، فلن يتمكنوا من القيام بعملهم. ونادراً ما يكون الاتصال بالعملاء المحتملين على نحوٍ بارد فعالاً، خاصةً بالنسبة للعلامات التجارية التي تبيع منتجات ذات قيمة أعلى حيث يوجد بعض الاحتكاك بفكرة الشراء.

كل عملية بيع بدأت كعميل محتمل

المبيعات تأتي من العملاء المحتملين. يسلط تقرير تسويق المحتوى التكنولوجي: يسلط تقرير " المعايير والميزانيات والاتجاهات " الصادر عن معهد تسويق المحتوى وMarketProfs الضوء على أن 77% من المسوقين في مجال التكنولوجيا يستخدمون عملاء محتملين مؤهلين للتسويق لزيادة المبيعات (ارتفاعًا من 64% في عام 2019).

من الأسهل تحويل العملاء المحتملين المؤهلين لأنهم أشخاص (أو شركات) أعربوا بالفعل عن اهتمامهم بمنتجك أو خدمتك. من خلال تحديد جمهورك المستهدف وتركيز جهودك التسويقية على هؤلاء الأشخاص تحديدًا، ستوفر وقت وطاقة فريق المبيعات لديك حتى يتمكنوا من التركيز على العملاء المحتملين ذوي الجودة العالية.

قوة الويب في متناول يدك

أصبح توليد العملاء المحتملين اليوم أسهل من أي وقت مضى. فالاتصال الفوري، وخيارات التسويق عبر وسائل التواصل الاجتماعي عالية الاستهداف، والوصول إلى قواعد البيانات التي تحتوي على أي معلومة يمكن تخيلها تقريبًا، تعني أن أصحاب الأعمال الصغيرة لديهم القدرة على تحقيق كل ما يريدون تحقيقه.

في الماضي، إذا كنت ترغب في الوصول إلى جمهور مستهدف محدد، كان عليك أن تدفع مبلغًا ضخمًا من المال لشركة تسويق لتتمكن من إرسال منشورات بالبريد إلى الشركات المدرجة في قاعدة بياناتها.

اليوم، هذا ليس ضرورياً. إذا كنت ترغب في العثور على قائمة بالمطاعم المكسيكية على الساحل الشرقي أو مدارس رياض الأطفال في ولايتك، يمكنك العثور على ذلك عبر الإنترنت. يمكن للشركات العاملة في مجال B2B إنشاء قاعدة بيانات للعملاء المحتملين بسرعة وسهولة، ثم تصفية تلك القائمة وإرسال رسائل تسويقية مصممة خصيصًا.

بالنسبة للكيانات بين الشركات التي تستهدف منطقة جغرافية صغيرة نسبيًا، يمكن أن يكون البحث البسيط على الويب كافيًا للعثور على قائمة بالعملاء المحتملين. أما إذا كنت تتطلع إلى الوصول إلى الشركات على مستوى الولاية أو حتى على الصعيد الوطني، فإن جمع كل هذه البيانات يدوياً سيستغرق وقتاً طويلاً.

يمكن أن يوفر لك كشط الويب أنت وفريق التسويق لديك قدرًا كبيرًا من الوقت والمال، حيث يجمع البيانات التي تحتاجها تلقائيًا.

ما هو "كشط الويب"؟

كشط الويب هو تقنية آلية لاستخراج البيانات من موقع ويب أو مواقع ويب متعددة، بحيث يمكنك استخدام البيانات في تطبيقات أخرى. على سبيل المثال، لنفترض أنك تريد إنشاء قائمة بأسماء وعناوين المطاعم في منطقتك، بدلاً من زيارة كل مطعم محلي مدرج على Yelp أو Tripadvisor يدوياً. في هذه الحالة، يمكنك استخدام مكشطة الويب لتصفح تلك الصفحات واستخراج تلك التفاصيل، وإنشاء قائمة يمكنك استخدامها في عمليات الإرسال بالبريد.

يمكن أن يوفر كشط الويب الكثير من الوقت والجهد على الشركات عندما يتعلق الأمر بإنشاء قائمة تسويق. كما أنه من السهل جدًا القيام بذلك إذا كانت لديك الأدوات المناسبة أو الدراية البرمجية الصحيحة.

كيف تعمل كاشطات الويب؟

تعمل كاشطات الويب عن طريق تحميل الصفحات التي تريد استخراج البيانات منها، ثم قراءة الصفحة للبحث عن نوع المعلومات التي تحاول العثور عليها. قد تكون تلك المعلومات

• أسماء الشركات
• أرقام الهاتف
• عناوين البريد الإلكتروني
• العناوين البريدية
• عناوين الموقع الإلكتروني

عندما تقوم مكشطة الويب بتحميل صفحة ما، فإنها تقرأ الشيفرة المصدرية للبحث عن الأنماط. واعتمادًا على الموقع الذي تسحب البيانات منه، يمكن أن تبحث ببساطة عن شيء يطابق النمط 123-456-78901 لرقم هاتف أو تنسيق [email protected] لعنوان بريد إلكتروني.

بدلاً من ذلك، قد يعرف مطوّر أداة الكاشطة أن تفاصيل الاتصال في موقع دليل معيّن محاطة بمجموعة محددة من العلامات في HTML، ويجعل أداة الكاشطة تستخرج المعلومات من بين تلك العلامات.

يمكن تهيئة بعض برامج الكاشطة من قبل المستخدم النهائي، بحيث يمكن تعليمها لفهم أي موقع إلكتروني تقريبًا.

تحديات استخدام الكاشطات

تتمثل إحدى مشاكل استخدام برامج الكاشطة في أن اللوائح التنظيمية مثل اللائحة العامة لحماية البيانات في الاتحاد الأوروبي تعني أنه يجب على المستخدمين توخي الحذر الشديد فيما يتعلق بالبيانات التي يجمعونها وكيفية استخدامها. وبموجب اللائحة العامة لحماية البيانات، يجب أن تحصل المؤسسة على إذن من الشخص للاحتفاظ ببيانات الفرد أو معالجتها.

تحاول بعض المواقع الإلكترونية حماية خصوصية مستخدميها وحماية موارد خوادمها الخاصة من خلال محاولة حظر كاشطات الويب. هناك العديد من الخيارات للقيام بذلك، بما في ذلك التحقق من "وكيل المستخدم" الذي يعيده برنامج العميل والحد من عدد الطلبات للصفحات التي تأتي من عنوان IP محدد.

إذا كنت ترغب في استخدام أدوات الكشط بفعالية، فستحتاج إلى التأكد من فهمك للقواعد المحيطة بالتسويق في بلدك، ومعالجة أي بيانات تجمعها بطريقة مسؤولة، ومعرفة كيفية جمع البيانات من المصادر التي اخترتها بطريقة فعالة وغير مدمرة لا تتسبب في حظرك من هذا الموقع.

على سبيل المثال، في ProxyScrape ، نقدم في ، وكلاء مقيمين يمكن استخدامهم لأغراض جمع البيانات. نوصي بأنك إذا كنت تفكر في استخدام هذه البروكسيات، فعليك التأكد من أن مكشطة الكشط لا تصدر عددًا مفرطًا من الطلبات إلى موقع ويب مستهدف في فترة زمنية قصيرة. اكشط بمسؤولية حتى لا تتسبب في إلحاق الضرر بالمواقع الإلكترونية التي تعمل معها.

اختيار مصادر البيانات للعملاء المحتملين ذوي الجودة العالية

يتيح تجريف المحتوى لأصحاب الأعمال الوصول إلى كميات هائلة من المعلومات التي كان من الصعب جمعها لولا ذلك، ولكن هذه المعلومات مفيدة بقدر فائدة المصدر الذي جاءت منه.

أحد تحديات جمع البيانات من الكشط هو التأكد من أن المعلومات محدثة. هناك الآلاف من الأدلة على شبكة الإنترنت، والعديد منها غير منسق بشكل جيد وقديم.

إذا قمت بجمع البيانات من مصدر قديم ومنخفض الجودة، في أفضل الأحوال، فإنك تضيع الوقت على رسائل البريد الإلكتروني التي لن تتم قراءتها. وفي أسوأ السيناريوهات، قد تجد نفسك في مواجهة شكاوى بسبب إجراء مكالمات هاتفية متكررة غير مرغوب فيها إلى رقم لم يعد ينتمي إلى الشركة التي كنت تعتقد أنه ينتمي إليها.

إذن، كيف يمكنك زيادة فرص أن تكون البيانات التي تجمعها مفيدة؟

اختر مصدر بياناتك بعناية

قبل أن تبدأ في جمع البيانات باستخدام أداة الكشط، قم بفحص الموقع الإلكتروني الذي تفكر في العمل معه يدويًا. اجمع بعض الخيوط يدوياً وتحقق منها.

هل لا تزال الشركات تعمل؟ هل لا تزال تفاصيل الاتصال صحيحة؟ هل يبدو أن مالك الدليل يدقق في المعلومات قبل إضافتها؟

لنفترض أن نصف العملاء المحتملين الذين تجمعهم يدويًا هم عملاء محتملون ميتون أو قديمون أو مزيفون. في هذه الحالة، هناك احتمال كبير أن تكون أي قاعدة بيانات تنشئها عن طريق كشط هذا الموقع منخفضة الجودة.

من المرجح أن تحتوي مواقع الدليل الأكبر مثل Tripadvisor أو Yelp أو FourSquare على بيانات عالية الجودة أكثر من الدلائل الأصغر والأقل شهرة لأن هذه المنصات لديها قاعدة أكبر بكثير من المستخدمين الذين يقومون بتحديثها.

قد تكون الدلائل المتخصصة ذات قيمة إذا كنت تتطلع إلى التسويق لمجموعة مصالح غامضة أو نوع متخصص للغاية من الشركات، ولكن يجب أن تتوقع أن يكون لديك الكثير من تنظيف البيانات قبل استخدام المعلومات التي تجمعها لأغراض التسويق.

النظر في المواقع التي تتطلب تسجيل الدخول

في العديد من الحالات، ستحصل على بيانات أكثر قيمة بكثير إذا قمت بجمعها من موقع يتطلب تسجيل الدخول. على سبيل المثال، يمكن كشط لينكد إن وتويتر، إذا كنت تستخدم محددًا للمعدل للحفاظ على عدد الطلبات التي يرسلها الروبوت الخاص بك إلى مستوى معقول، وكنت مسجلاً للدخول إلى الموقع عند إجراء الطلبات.

هناك خيار آخر هو استخدام واجهة برمجة التطبيقات بدلاً من مكشطة HTTP بسيطة وجمع التفاصيل من إحدى خدمات الخرائط الشائعة. على سبيل المثال، توفر Google واجهة برمجة تطبيقات البحث عن الأعمال التي يمكن استخدامها لجمع المعلومات حول المؤسسات المدرجة في خرائط Google، ولكن يجب عليك الموافقة على الامتثال لشروط وأحكام Google قبل الوصول إلى واجهة برمجة التطبيقات.

بشكل عام، إذا كانت واجهة برمجة التطبيقات متاحة، فمن الأفضل أن تجمع بياناتك باستخدام واجهة برمجة التطبيقات تلك بدلاً من استخدام كشط الويب. سيكون احتمال تعرضك للمشاكل مع مالكي المواقع الإلكترونية أقل بكثير، وسيكون من الأسهل تنظيف البيانات التي يتم تسليمها عبر واجهة برمجة التطبيقات.

قم ببناء استفساراتك بشكل صحيح

هناك قول مأثور في برمجة الكمبيوتر يقول "من يدخل القمامة يخرج القمامة"، وهذا ينطبق بالتأكيد على جمع البيانات. تأكد من إنشاء أي عمليات بحث تقوم بها بعناية.

على سبيل المثال، إذا كنت ترغب في التسويق للبناة في نيوكاسل، فلا تنسى أن هناك أكثر من نيوكاسل في إنجلترا، وهناك نيوكاسل في أستراليا أيضاً. إذا كنت تبحث عن "نيوكاسل" عبر وكيل ما، فإن معظم المواقع الإلكترونية ستحاول تخمين أي نيوكاسل تقصد من خلال البحث عن الأقرب إلى الموقع الجغرافي للوكيل.

حاول تضييق نطاق البحث قدر الإمكان، مع توفير معلومات المدينة والولاية وحتى معلومات البلد إذا كان الموقع الإلكتروني المستهدف يسمح بذلك. سيساعدك هذا على تجنب أن ينتهي بك الأمر بقاعدة بيانات مليئة بتفاصيل الاتصال بمنظمات تبعد مئات الأميال عن المنطقة التي تريدها.

خيارات برامج الكاشطة: الأدوات الشائعة

يمكن أن يكون كشط الويب بسيطًا أو معقدًا كما تريده أن يكون. إذا كنت تحاول فقط تجربة الكشط لأول مرة، فلا داعي لإنفاق الكثير من المال على برامج متطورة.

تتضمن بعض الخيارات الجيدة ما يلي:

• مكشطة
• ProWebScraper
• سكرابي

Scraper هو امتداد لمتصفح الويب يتيح للمستخدمين استخراج البيانات من صفحات الويب بسرعة وسهولة. إذا كنت ترغب في سحب المعلومات من صفحة نتائج واحدة أو عدد قليل من الصفحات، فإن Scraper طريقة بسيطة وفعالة للقيام بذلك، وقد تجد أنه أسهل بكثير في الاستخدام من أداة زاحف الويب الأكثر تعقيدًا.

ProWebScraper هي أداة أكثر تقدمًا لها إصدارات مجانية ومتميزة. يمكن استخدام الأداة المجانية لكشط ما يصل إلى 100 صفحة، مما يعني أنها يجب أن تكون كافية للأعمال التجارية الصغيرة المتخصصة. يعد ProWebScraper سهل الاستخدام نسبيًا لبرنامج الكشط، حيث يتميز بواجهة توجيه ونقر وقواعد مصممة مسبقًا تتيح لك إعداد الكشط حتى لو لم تكن واثقًا من الجانب التقني.

يمكن ل ProWebScraper تنزيل الصور وتجميع ملفات JSON أو CSV أو XML. ويمكن أيضًا إعداده لكشط المواقع وفقًا لجدول زمني حتى تتمكن من جمع البيانات وتحديث سجلاتك التسويقية.

Scrapy هو إطار عمل لكشط الويب مجاني ومفتوح المصدر. تتطلب هذه الأداة معرفة تقنية، لكنها سريعة ومرنة ويمكن استخدامها لكشط كميات كبيرة من البيانات. يمكن تشغيل Scrapy على حاسوب لينكس أو OS X أو ويندوز أو BSD أو على خادم ويب.

هناك مجتمع Scrapy نشط، بما في ذلك دردشة IRC و Reddit و StackOverflow. يمكنك طلب المشورة من المجتمع وقد تتمكن من الاستفادة من الإضافات أو الوحدات النمطية التي أنشأها المجتمع، مما يتيح لك الاستفادة من قوة Scrapy حتى لو لم تكن مطورًا واثقًا بنفسك.

ترميز المكشطة الخاصة بك

إذا كنت بحاجة إلى جمع الكثير من البيانات أو كنت تخطط لكشط البيانات بانتظام، فقد لا تكون الأدوات المجانية والأدوات القائمة على واجهة المستخدم الرسومية قوية بما يكفي لحالة الاستخدام الخاصة بك. إن ترميز أداة الكشط الخاصة بك، أو التعاقد مع مطور للقيام بذلك نيابةً عنك، هو خيار جيد.

هناك العديد من الأطر المجانية مفتوحة المصدر التي يمكن استخدامها لبرمجة مكشطة بلغات شائعة مثل Python أو Perl أو Java أو R أو PHP.

واحدة من المكتبات الأكثر شعبية لكشط الويب هي BeautifulSoup. هذه أداة كشط بايثون قادرة على استخراج البيانات من ملفات HTML أو XML بسرعة وسهولة. ستحتاج إلى أن يكون لديك بعض المعرفة بالبرمجة لاستخدامها، لكنها تقوم بالكثير من العمل التفصيلي للكشط نيابةً عنك، مما يوفر عليك إعادة اختراع العجلة.

بمجرد استخراج البيانات، يمكنك إما تصديرها كملف CSV أو عرضها بتنسيقات مختلفة باستخدام مكتبة معالجة بيانات مثل Pandas.

إيجابيات وسلبيات ترميز المكشطة الخاصة بك

يعد ترميز الكاشطة الخاصة بك فكرة جيدة إذا كان لديك بعض المعرفة البرمجية. قد يكون من المفيد أيضًا ترميز مكشطة الكشط الخاصة بك إذا كنت بحاجة إلى استخراج الكثير من البيانات من صفحة ويب غير عادية لا تستطيع أدوات الكشط المجانية التعامل معها.

يمكن أن يكون ترميز أداة الكشط الخاصة بك أو الدفع لشخص ما للقيام بذلك نيابةً عنك فكرة جيدة إذا كانت لديك احتياجات محددة ومعقدة. يمكن تصميم أداة الكاشطة المشفرة خصيصًا حول صفحة مستهدفة بشكل أكثر فعالية من أداة أكثر عمومية، لذلك من غير المرجح أن تواجه أخطاء أو مشاكل في التعامل مع البيانات.

وعلى العكس من ذلك، فإن أدوات الكشط المشفرة المخصصة مفيدة أيضًا للمهام الصغيرة والبسيطة. بمجرد كتابة الكاشطة مرة واحدة يمكنك تعديل روتين التحليل واستخدام نفس النص البرمجي لاستخراج البيانات من صفحات أخرى.

الجانب السلبي في استخدام مكشطة مرمزة خصيصًا هو أن كتابة المكشطة لأول مرة تستغرق وقتًا طويلاً، وإذا لم تكن مطورًا متمرسًا، فقد تقضي وقتًا أطول في المعاناة مع تنسيق JSON أو محاولة تعلم مكتبة جديدة أكثر مما قد يستغرقه مجرد قراءة دليل ProWebScraper وتهيئته.

اعتمادًا على المهمة، قد يكون الدفع مقابل أداة ما أكثر فعالية من حيث التكلفة من كتابة أداة مخصصة.

بالإضافة إلى ذلك، إذا كنت تخطط لكتابة أداة الكشط الخاصة بك، فستحتاج إلى أن تكون على دراية بأفضل ممارسات الكشط ومشكلات الترميز، مثل

• استخدام وكيل المستخدم لتحديد هوية الروبوت الخاص بك
• كيفية التعامل مع المصادقة للمواقع التي تتطلب تسجيل الدخول
• الامتثال لأي شروط وأحكام الموقع الإلكتروني
• تحديد معدل طلباتك لتجنب وضع عبء لا داعي له على الموقع الإلكتروني
• إرسال الطلبات المشكّلة بشكل صحيح
• استخدام الوكلاء (وتناوبهم بانتظام)
• تعقيم أي معلومات يتم إرجاعها من قبل الخادم
• قواعد حماية البيانات الخاصة بكيفية ومكان تخزين المعلومات المعادة
• حل اختبار CAPTCHA

إن كتابة مكشطة صغيرة لسحب معلومات عن بضع مئات أو بضعة آلاف من الشركات أمر منطقي للغاية. أما إذا كنت تسحب كميات أكبر من البيانات، فقد ترغب في طلب المشورة أو العمل مع خبير للتأكد من امتثالك التام للوائح الخصوصية المحلية.

القواعد الذهبية لكشط الويب

إذا قررت كتابة أداة الكشط الخاصة بك، تذكر أن تكون "لطيفًا". ابذل قصارى جهدك في الكشط بطريقة مراعية للمشاعر، وأرسل طلبات مُشكَّلة بشكل صحيح، وقم بالكشط ببطء، واستخدم مجموعة من عناوين IP عند الكشط.

حاول أن تجعل أداة الكاشطة تبدو كإنسان. وهذا يعني طلب الصفحات ببطء ومحاولة عدم اتباع نمط ثابت عند تصفح الصفحات. ضع في اعتبارك، على سبيل المثال، سحب قائمة بنتائج البحث، وإعداد قائمة بالروابط الموجودة في صفحة النتائج، ثم الانتقال إلى تلك الروابط بترتيب عشوائي، بحيث لا يكون من الواضح أنك روبوت.

لا ترسل طلبات متعددة من نفس عنوان IP في نفس الوقت. ستكتشف أدوات مكافحة الاختراق أنك تضع حملاً غير طبيعي على الخادم.

احترم المعلومات الموجودة في ملف Robots.txt الخاص بالموقع الإلكتروني. إذا كانت هناك صفحات لا يريد مدير الموقع أن تتم فهرستها. سيكون من غير الأخلاقي أن تتجاهل ذلك.

فكّر في استخدام مكتبة مثل Selenium لجعل الروبوت الخاص بك يبدو أكثر إنسانية من خلال إرسال نقرات إلى الصفحة أو التفاعل معها بطريقة أخرى. تبحث بعض الأدوات الأكثر تطوراً من أدوات مكافحة النمل عن أنماط تفاعل شبيهة بالبوتات وستحظر عنوان IP إذا لاحظت نقصاً في التمرير والنقر والتفاعل الآخر.

هناك سباق تسلح تكنولوجي بين مطوري الكاشطات وأولئك الذين يحاولون حظر الكاشطات من مواقعهم الإلكترونية. من الصعب جدًا إنشاء مكشطة يمكنها جمع كميات هائلة من البيانات دون أن يتم اكتشافها. ومع ذلك، بالنسبة للمشاريع الصغيرة أو متوسطة الحجم، إذا اتبعت قواعد اللطف وعدم الجشع، يجب أن تكون قادرًا على الحصول على البيانات التي تحتاجها باستخدام مكشطة بطيئة وثابتة وبعض الوكلاء.

تذكر أن الروبوت الخاص بك يمكن أن يعمل على مدار 24 ساعة في اليوم، ويجمع البيانات في الخلفية، لذلك لا داعي لتنزيل قائمة كاملة من الشركات الصغيرة على Yelp دفعة واحدة.

استكشاف أخطاء المكشطة وإصلاحها

هناك العديد من المشكلات المحتملة التي قد تواجهها عند تشغيل مكشطة. يمكن أن تشمل هذه المشاكل ما يلي:

• حظر عنوان IP الخاص بك من قبل مدير الموقع الإلكتروني
• حظر عميل الكشط الخاص بك من قبل مشرف الموقع الإلكتروني
• حدوث ارتباك في المكشطة عند محاولة التنقل في الموقع الإلكتروني
• البيانات المهملة التي يتم جمعها من خلال "نقاط البحث عن المعلومات" المخفية في المواقع
• تحديد معدل الحد من إيقاف المكشطة عن العمل بسرعة
• تؤدي التغييرات في تصميمات الموقع إلى كسر مكشطة كانت تعمل

الخبر السار هو أنه يمكن إصلاح جميع هذه المشكلات إذا فهمت كيفية عمل الكاشطات.

تتبع كاشطات الويب البسيطة نمطًا معينًا:

1. ترسل أداة الكاشطة طلب HTTP إلى موقع ويب
2. يرسل الموقع الإلكتروني استجابة، كما يفعل متصفح الويب العادي
3. يقوم الكاشط بقراءة الرد، باحثًا عن نمط في HTML
4. يتم استخراج النمط وتخزينه في ملف JSON لمعالجته لاحقًا
5. يمكن للكاشطة بعد ذلك إما مواصلة قراءة الرد بحثًا عن المزيد من الأنماط أو إرسال طلبها التالي

هناك بعض المجالات التي يمكن أن تسوء فيها الأمور.

المكشطة لا تلتقط أي بيانات

إذا كانت أداة الكاشطة لا تلتقط أي بيانات على الإطلاق، فقد يكون ذلك بسبب مشكلة في طريقة إعدادك للمحلل أو قد يكون السبب أن أداة الكاشطة لا ترى نفس الموقع الذي تراه عند استخدام متصفح الويب.

لمعرفة الخطأ الذي حدث، قم بتعيين أداة الكاشطة لإخراج HTML للصفحة، وقارن ذلك بإخراج المتصفح العادي.

إذا رأيت خطأً أو صفحة مختلفة، فقد يكون ذلك بسبب حظر عميل الكشط الخاص بك. قد يكون الموقع قد حظر عنوان IP الخاص بك أو برنامج عميل الكاشطة.

جرّب تغيير وكيل المستخدم الذي تتعرف عليه أداة الكاشطة إلى وكيل يجعلها تبدو كمتصفح ويب حديث مثل فايرفوكس أو كروم. قد يساعدك هذا على تجاوز القيود البسيطة على بعض المواقع.

إذا لم ينجح ذلك، ففكر في ضبط أداة الكاشطة على استخدام وكيل للاتصال بالموقع الإلكتروني المعني. البروكسي هو خادم يرسل طلبات الويب نيابةً عنك، بحيث لا يمكن للموقع الإلكتروني معرفة أنها قادمة من اتصالك بالإنترنت.

إذا كنت ترى صفحة "عادية"، فمن المرجح أن تكون المشكلة في الطريقة التي قمت بتعيين الكاشطة لاستخراج البيانات. كل برنامج كشط لديه طريقته الخاصة لمطابقة الأنماط، على الرغم من أن معظمها يستخدم بعض أشكال التعبيرات العادية. تأكد من عدم وجود أخطاء مطبعية في مطابقة الأنماط. تذكّر أن البرنامج يقوم بما تخبره به بالضبط، لذا فإن خطأً واحدًا صغيرًا سيؤدي إلى كسر قواعد المطابقة تمامًا!

تعمل الكاشطة لفترة من الوقت، ثم تتوقف عن العمل

مشكلة شائعة أخرى هي أن تعمل أداة الكشط لفترة قصيرة، ثم تتوقف عن العمل. هذا يعني عادةً أن الموقع الإلكتروني قد حظر عنوان IP الخاص بك، إما بشكل مؤقت أو دائم، لأنك أرسلت الكثير من الطلبات في وقت قصير.

إذا حدث هذا، يمكنك الالتفاف على الحظر باستخدام بروكسي. Proxyscrape يقدم كل من البروكسيات المميزة والسكنية للأشخاص لاستخدامها في تجريف البيانات. وكلاء مركز البيانات المتميز ون سريعون ويقدمون نطاقاً ترددياً غير محدود ولكن لديهم عناوين IP قد يتعرف عليها مشرفو المواقع على أنها من مركز بيانات. أما البروكسيات السكنية فتبدو وكأنها من "مستخدمين منزليين"، ولكن الإنتاجية المتاحة عليها قد تكون أقل.

ضع في اعتبارك تغيير الوكيل الذي تستخدمه بعد عدة طلبات لتقليل خطر حظر عنوان IP الخاص بالوكيل. يمكنك أيضًا تقليل خطر حظر عنوان IP عن طريق تقليل السرعة التي ترسل بها أداة الكاشطة الطلبات.

تذكر أن المكشطة يمكن أن تعمل في الخلفية، 24 ساعة في اليوم، دون انقطاع. حتى لو حددت سرعة الكاشطة في تحليل صفحة واحدة كل 15-30 ثانية، فإنها ستعمل بسرعة أكبر من سرعة الإنسان.

ضع في اعتبارك أن العديد من المواقع الإلكترونية، خاصة الصغيرة منها، مستضافة على خوادم لها حدود لسرعتها وكمية البيانات التي يمكنها نقلها كل شهر. قد تشعر أن قيام الروبوت الخاص بك بكشط بعض البيانات ليس أمراً غير معقول، ولكن إذا كان العديد من المستخدمين الآخرين يفعلون نفس الشيء، أو إذا "ضاع" الروبوت الخاص بك وحاول تنزيل نفس الصفحات مراراً وتكراراً إلى ما لا نهاية، فقد يؤدي ذلك إلى إضعاف أداء الموقع الإلكتروني للمستخدمين البشر أو يكلف مدير الموقع أموالاً من خلال استهلاك موارد زائدة.

المكشطة ترتبك وتمر بحلقة لا نهاية لها من الصفحات

من المشاكل الشائعة الأخرى التي يواجهها المسوقون عند محاولة استخدام مكشطة الويب هي أن ترتبك المكشطة وتحميل صفحات لا ينبغي لها أن تقوم بتحميلها.

دعنا نتخيل أن خطة الكاشطة الخاصة بك هي العثور على قائمة بناة في مدينتك، وترسلها إلى دليل حيث تبحث في ذلك. يجب على الكاشطة

• إرسال طلب HTTP يحتوي على سلسلة البحث المطلوبة
• تنزيل صفحة النتائج
• تحليل صفحة النتائج للعثور على رابط للنتيجة الأولى
• افتح هذا الرابط
• استخرج تفاصيل الاتصال من تلك الصفحة الجديدة
• استمر في تحليل صفحة النتائج للعثور على النتيجة الثانية
• افتح هذا الرابط
• وهكذا دواليك...

بعض المواقع الإلكترونية مصممة لتضمين "نقاط ضعف" من شأنها أن تصطاد الروبوتات وتربكها. هذه البوتات عبارة عن أجزاء من HTML يتم تعيينها بعلامة عرض تقول "عرض: لا شيء"، لذلك لن تظهر في المتصفح العادي. ومع ذلك، يمكن أن تراها الروبوتات، وإذا لم يتم تهيئتها لتجاهلها، فإنها ستعالجها تمامًا مثل HTML العادي.

من الصعب جدًا برمجة روبوت ليتجاهل تمامًا كل الروابط التي تصطاد الروبوتات HTML لأن بعض هذه الفخاخ متطورة بشكل لا يصدق. لكن ما يمكنك فعله هو وضع حدود لعدد الروابط التي سيتبعها البوت الخاص بك. يمكنك أيضًا عرض مصدر الصفحة بنفسك والبحث عن أي فخاخ واضحة حتى تتمكن من ضبط البوت على تجاهلها.

التسويق الأخلاقي: استخدم عملاءك المحتملين الذين تم مسحهم بحكمة

إن تجريف المواقع الإلكترونية هو أمر تستهجنه العديد من المواقع الإلكترونية ويجب على أصحاب الأعمال التجارية أن يتوخوا الحذر عند القيام به. بموجب اللائحة العامة لحماية البيانات (GDPR)، من غير القانوني كشط معلومات المقيمين في الاتحاد الأوروبي دون موافقتهم، على سبيل المثال.

بالإضافة إلى ذلك، فإن العديد من مواقع الويب التي تخفي البيانات خلف شاشة تسجيل الدخول تحظر صراحةً كشط الويب في شروطها وأحكامها. وهذا يعني أنك معرض لخطر الحظر من هذا الموقع الإلكتروني إذا تبين أنك تستخدم مكشطة.

إذا قررت استخدام الكشط لجمع العملاء المحتملين، فحاول القيام بذلك بشكل معقول. فكر في الكشط كوسيلة لتوفير الوقت عند جمع العملاء المحتملين الذين كنت ستجمعهم على أي حال، بدلاً من أن تكون وسيلة لشن حملة تسويقية ضخمة.

تجنّب توسيع الشبكة أكثر من اللازم من خلال البحث عن العملاء. قد يكون من المغري جمع تفاصيل الاتصال بكل شركة أو شخص في منطقتك والمناطق المحيطة بها، على أمل تحويل إحدى تلك الشركات إلى عميل، ولكن مثل هذه الحملة الواسعة وغير المركزة ستأتي على الأرجح بنتائج عكسية.

تنظيف قاعدة بياناتك وصيانتها

قبل أن تبدأ حملتك التسويقية، قم بإجراء بعض الفحوصات على البيانات التي جمعتها. قم بتنظيف قاعدة البيانات لإزالة أي بيانات غير صحيحة بشكل واضح، مثل الشركات التي أغلقت، أو السجلات المكررة، أو سجلات الأشخاص الذين ليسوا في المنطقة التي تستهدفها.

بمجرد بدء الحملة، حافظ على تحديث قاعدة البيانات. إذا طلب أحد العملاء المحتملين إزالته من قاعدة بياناتك، فاحذفه. إذا كنت قادرًا قانونًا على القيام بذلك في ولايتك القضائية، احتفظ ببيانات كافية عنهم لإضافة بريدهم الإلكتروني أو رقم هاتفهم إلى قائمة "عدم الاتصال" حتى لا يمكن إعادة إضافتهم إلى قاعدة بياناتك التسويقية في المرة القادمة التي تقوم فيها بالبحث.

تتضمن بعض الأمور الأخرى التي يجب تذكرها عند إدارة حملاتك التسويقية ما يلي:

• الحد من عدد رسائل البريد الإلكتروني أو المكالمات التي تجريها إلى العملاء المحتملين الباردين
• تقديم معلومات إلغاء الاشتراك في أي جهات اتصال ترسلها
• احترام طلبات الانسحاب وتنفيذها على الفور
• إذا استجاب شخص ما للتسويق الخاص بك، فقم بتحديث بياناته

هناك خط رفيع بين التسويق الاستباقي والتسويق العدواني غير المرغوب فيه. تعد الاتصالات المتكررة من المسوقين جزءًا من رحلة العميل، ومن المهم البقاء على اتصال مع العملاء المحتملين، ولكن التسويق العدواني المفرط قد ينفر العملاء المحتملين ويعطي علامتك التجارية سمعة سيئة.

ضع في اعتبارك استيراد البيانات التي تحصل عليها من عملية الكشط إلى نظام إدارة علاقات العملاء حتى تتمكن من تتبع كل عميل، والمرحلة التي وصل إليها في عملية التحويل، وكيفية استجابته للرسائل التسويقية.

لن يساعدك القيام بذلك على البقاء على اطلاع على العملاء الأفراد فحسب، بل سيسهل عليك أيضًا معرفة كيفية أداء حملاتك التسويقية بشكل جماعي حتى تتمكن من تحسين رسائلك.

يمكن أن يكون تتبع مصدر العملاء المحتملين مفيدًا أيضًا لأنه سيعطيك فكرة عن مصادر البيانات التي تحتوي على معلومات عالية الجودة.