تريد المساعدة؟ إليك خياراتك:","كرانش بيس","نبذة عنا","شكراً للجميع على الدعم الرائع!","روابط سريعة","برنامج الإحالة","بريميوم","ProxyScrape تجربة متميزة","مدقق الوكلاء عبر الإنترنت","أنواع الوكلاء","الدول الوكيلة","حالات استخدام الوكيل","مهم","سياسة ملفات تعريف الارتباط","إخلاء المسؤولية","سياسة الخصوصية","الشروط والأحكام","وسائل التواصل الاجتماعي","فيسبوك","لينكد إن","تويتر","كورا","برقية","الخلاف","\n © حقوق الطبع والنشر © 2024 - ثيب بي في | بروغسترات 18 | 2812 ميكلين | بلجيكا | ضريبة القيمة المضافة BE 0749 716 760\n"]}
يُعد Google اللاعب الأكبر بين جميع محركات البحث عندما يتعلق الأمر بالبحث عن المعلومات على الإنترنت. فوفقًا للتقديرات، يتم إجراء أكثر من 3.5 مليار عملية بحث على محرك بحث Google كل يوم. نحن (مستخدمو Google) لا نحصل على قدر معين من المعلومات إلا بناءً على تحليلات Google Analytics وإعلانات Google. تستخدم Google واجهة برمجة التطبيقات الخاصة بها
يُعد Google اللاعب الأكبر بين جميع محركات البحث عندما يتعلق الأمر بالبحث عن المعلومات على الإنترنت. ووفقًا للتقديرات، يتم إجراء أكثر من 3.5 مليار عملية بحث على محرك بحث Google كل يوم. نحن (مستخدمو Google) لا نحصل على قدر معين من المعلومات إلا بناءً على تحليلات Google Analytics وإعلانات Google. تستخدم Google واجهة برمجة التطبيقات ( API ) الخاصة بها (واجهة برمجة التطبيقات) وتختار بشكل أساسي المعلومات الأكثر قيمة بالنسبة لنا بناءً على أبحاثها وتصنيفاتها. ولكن ماذا لو أردنا أن نتعمق أكثر في المعلومات ذات القيمة الحقيقية بالنسبة لك؟
هنا تأتي الحاجة إلى الكشط. يمكنك التفكير في مكشطة جوجل كوسيلة لتسليط الضوء على أهم فصول الكتاب. عندما تفحص كتابًا مدرسيًا بحثًا عن معلومات، فإنك تميل إلى انتقاء النص الأكثر قيمة لبحثك أو اختبارك. لكن شبكة الإنترنت العالمية أكبر من كتاب من 1000 صفحة. لذا، في حالة الإنترنت، يمكن أن تكون مكشطة جوجل هي عينك التي تركز على الليزر التي تلتقط وتجمع على الفور أفضل النتائج حول الموضوع الذي تتساءل عنه. يمكنك استخراج نتائج بحث جوجل بناءً على كلمات رئيسية محددة. على سبيل المثال، إذا قمت بكشط جوجل باستخدام الكلمة الرئيسية "أسود"، ستعطيك مكشطة جوجل عددًا معينًا من عناوين URL الأعلى تصنيفًا بناءً على تلك الكلمة الرئيسية. وكلما زاد عدد الكلمات المفتاحية التي تستخدمها، ستزودك جوجل بعناوين URL وبيانات أكثر تحديدًا. وكلما كانت البيانات أكثر تحديداً، كلما كانت البيانات أكثر تحديداً، كلما كانت مصممة خصيصاً لتلبية متطلباتك. ولكن دعنا نفهم أولاً الحاجة إلى كشط جوجل.
أنت تعلم أن Google هي نقطة الدخول الرئيسية إلى الإنترنت لمليارات الأشخاص، وكل نشاط تجاري تقريبًا يريد أن يظهر في نتائج بحث Google. تقييمات ومراجعات جوجل لها تأثير كبير على الملفات الشخصية للشركات المحلية على الإنترنت. تعتمد وكالات التسويق التي لديها العديد من العملاء من مختلف الصناعات بشكل كبير على الحصول على أدوات موثوقة لتحسين محركات البحث (SEO). فهي وسيلة لأداء المهام المختلفة بفعالية ووسيلة لإدارة النتائج وتحليلها بنجاح.
فيما يلي بعض حالات استخدام كشط Google.
تحتاج الشركات إلى كشط Google للأسباب التالية.
دعونا نرى كيف يمكننا كشط جوجل باستخدام بايثون.
أولاً، تحتاج إلى تثبيت وكيل مستخدم مزيف. فهو يستحوذ على وكيل مستخدم محدث بقاعدة بيانات حقيقية.
تثبيت نقطة تثبيت وكيل مستخدم وهمي
عليك استيراد جميع المكتبات اللازمة، كما هو موضح أدناه.
استيراد بانداس ك pd
استيراد numpy ك np
استيراد urllib
من fake_useragent (وكيل المستخدم) استيراد وكيل المستخدم
استيراد الطلبات
استيراد إعادة
من urllib.request استيراد الطلبات، urlopen
من bs4 استيراد حساء جميل
عليك إنشاء عنوان URL الخاص بـ Google باستخدام كلمتك الرئيسية وعدد النتائج. للقيام بذلك، سنتبع الخطوتين التاليتين:
ترميز الكلمة الرئيسية في HTML باستخدام urllibأضف المعرف إلى عنوان URL
نفترض أن كلمتنا الرئيسية هي "تعلم الآلة بايثون".
الكلمة المفتاحية= "تعلم الآلة بايثون"
html_keyword= urllib.parse.parse.quote_plus(keyword)
طباعة(html_keyword)
عندما نطبع الكلمة الرئيسية، نحصل على النتيجة التالية.
بعد ترميز الكلمة الرئيسية إلى HTML باستخدام urllib، علينا إنشاء عنوان URL الخاص بـ Google كما هو موضح أدناه.
العدد_من_النتيجة = 15
google_url = "https://www.google.com/search?q=" + html_keyword + "&num=" + str(number_of_of_result)
طباعة(google_url)
نحصل على عنوان URL التالي:
الآن، علينا الآن الضغط على عنوان URL والحصول على النتائج. ولتحقيق ذلك، سيساعدنا في ذلك كل من Beautiful Soup و Fake Useragent.
ua = UserAgent()
response = requests.get(google_url, {"User-Agent": ua.random})
soup = BeautifulSoup(response.text, "html.parser")
نحتاج فقط إلى التعبيرات العادية لاستخراج المعلومات التي نريدها.
result = soup.find_all('div', attrs = {'class': 'ZINbbc'})
results=[re.search('\/url\?q\=(.*)\&sa',str(i.find('a', href = True)['href'])) for i in result if "url" in str(i)]
#this is because in rare cases we can't get the urls
links=[i.group(1) for i in results if i != None]
links
إليك ما نحصل عليه.
هذه هي الطريقة التي يمكنك بها كشط Google باستخدام Python.
يمكننا أيضًا تلخيص الكود أعلاه في دالة كاشطة واحدة، كما هو موضح أدناه.
def google_results(keyword, n_results):
query = keyword
query = urllib.parse.quote_plus(query) # Format into URL encoding
number_result = n_results
ua = UserAgent()
google_url = "https://www.google.com/search?q=" + query + "&num=" + str(number_result)
response = requests.get(google_url, {"User-Agent": ua.random})
soup = BeautifulSoup(response.text, "html.parser")
result = soup.find_all('div', attrs = {'class': 'ZINbbc'})
results=[re.search('\/url\?q\=(.*)\&sa',str(i.find('a', href = True)['href'])) for i in result if "url" in str(i)]
links=[i.group(1) for i in results if i != None]
return (links)
هنا google_results هي دالة الكاشطة التي نمرر فيها الكلمة المفتاحية وعدد النتائج كمعلمات وننشئ عنوان URL الخاص ب Google.
نتائج_جوجل("التعلم الآلي في بايثون"، 10)
إليك ما نحصل عليه.
ماذا لو كنت تريد الاتصال بواجهة برمجة تطبيقات إعلانات Google؟ يمكنك القيام بذلك من خلال وكيل عن طريق تعيين تهيئة http_proxy في ملف google-ads.yaml كما هو موضح أدناه.
http_proxy: إدراج_وكيل_هنا
يمكنك تحديد http://user:pass@المضيف المحلي:8082 كوكيل. يمكنك أيضًا تكوين إعداد الوكيل برمجيًا بمساعدة أساليب GoogleAdsClient على النحو التالي:
على سبيل المثال,
config = {
...
"http_proxy": "INSERT_PROXY_HERE",
}
googleads_client = GoogleAdsClient.load_from_dict(config)
يجب أن تقوم بتعيين متغير البيئة GOOGLE_ADS_HTTP_PROXY لاستخدام وكيل من طريقة التحميل_من_الخارج.
فيما يلي أسباب استخدام وكلاء Google.
يمكنك كشط Google باستخدام Python من أجل:
عند كشط البيانات من جوجل، تعتبر البروكسيات ضرورية لأنها يمكن أن تساعد الشركات على تعزيز ترتيبها على محركات البحث وتمنع حظر عنوان IP الخاص بها على الإنترنت. يمكنك استخدام مجموعة كاملة من البروكسيات المخصصة لكشط جوجل، وهي تساعدك في الحصول على البيانات بسرعة كبيرة.
آمل أن تكون قد فهمت كيفية كشط جوجل باستخدام بايثون.