كيفية كشط تويتر باستخدام بايثون - الطريقة السهلة في عام 2024

لا يمكن للكثير من المواقع أن ترتبط بكلمة "البيانات الضخمة". لكن تويتر يمكنه ذلك حيث يتم تبادل أكثر من 500 مليون تغريدة على منصته يوميًا، بما في ذلك نسبة هائلة من الصور والنصوص ومقاطع الفيديو. يمكن أن تعطيك تغريدة واحدة معلومات عن: على عكس العديد من منصات التواصل الاجتماعي الأخرى، يتمتع تويتر بميزة ودية ومكلفة للغاية

لا يمكن للكثير من المواقع أن ترتبط بكلمة "البيانات الضخمة". لكن تويتر يمكنه ذلك حيث يتم تبادل أكثر من 500 مليون تغريدة على منصته يوميًا، بما في ذلك نسبة هائلة من الصور والنصوص ومقاطع الفيديو. يمكن أن تعطيك تغريدة واحدة معلومات عن

• عدد الأشخاص الذين شاهدوا التغريدة
• التركيبة السكانية للأشخاص الذين أعجبوا بالتغريدة أو أعادوا تغريدها
• إجمالي عدد النقرات على ملفك الشخصي

على عكس العديد من منصات التواصل الاجتماعي الأخرى، لدى تويتر واجهة برمجة تطبيقات عامة ودية ومكلفة ومجانية يمكن استخدامها للوصول إلى البيانات على منصته. كما يوفر أيضًا واجهة برمجة تطبيقات البث المباشر للوصول إلى بيانات تويتر المباشرة. ومع ذلك، فإن واجهات برمجة التطبيقات لديها بعض القيود على عدد الطلبات التي يمكنك إرسالها خلال فترة زمنية محددة. تأتي الحاجة إلى كشط تويتر عندما لا يمكنك الوصول إلى البيانات المطلوبة من خلال واجهات برمجة التطبيقات. يعمل الكشط على أتمتة عملية جمع البيانات من تويتر بحيث يمكنك استخدامها في جداول البيانات والتقارير والتطبيقات وقواعد البيانات. 

قبل الغوص في كود بايثون لكشط بيانات تويتر، دعنا نرى لماذا نحتاج إلى كشط بيانات تويتر.

لا تتردد في القفز إلى أي قسم لتتعلم كيفية كشط تويتر باستخدام بايثون!

جدول المحتويات

• لماذا تحتاج إلى كشط تويتر؟
• كيفية كشط تويتر باستخدام بايثون تثبيت تويتر كاشط التويتراستيراد المكتباتذكر المواصفاتإنشاء إطار البياناتطباعة المفاتيحاستخراج البيانات ذات الصلة
• تثبيت تويتر كرابر
• مكتبات الاستيراد
• ذكر المواصفات
• إنشاء إطار بيانات
• طباعة المفاتيح
• استخراج البيانات ذات الصلة
• لماذا نستخدم وكلاء تويتر؟
• ما هو أفضل وكيل لكشط تويتر باستخدام بايثون؟
• الأسئلة الشائعة:
• الخاتمة

لماذا تحتاج إلى كشط تويتر؟

أنت تعلم أن تويتر هو موقع تدوين مصغر ومساحة مثالية تحتوي على معلومات غنية يمكنك كشطها. ولكن هل تعرف لماذا تحتاج إلى كشط هذه المعلومات؟

فيما يلي بعض أسباب كشط بيانات تويتر التي تساعد الباحثين:

• فهم شبكة تويتر الخاصة بك وتأثير تغريداتك على تويتر
• معرفة من يتم ذكره من خلال @أسماء المستخدمين
• دراسة كيفية نشر المعلومات
• استكشاف كيفية تطور الاتجاهات وتغيرها بمرور الوقت
• فحص الشبكات والمجتمعات
• معرفة مدى شعبية/تأثير التغريدات والأشخاص
• جمع البيانات حول المغردين التي قد تشمل: الأصدقاءالمتابعونالمتابعونالمفضلون صورة الملف الشخصي تاريخ الاشتراك وما إلى ذلك.
• الأصدقاء
• المتابعون
• المفضلة
• صورة الملف الشخصي
• تاريخ التسجيل وما إلى ذلك.

وبالمثل، يمكن أن يساعد كشط تويتر المسوقين في:

• المراقبة الفعالة لمنافسيهم
• استهداف جمهور التسويق بالتغريدات ذات الصلة
• إجراء تحليل المشاعر
• مراقبة العلامات التجارية في السوق
• التواصل مع كبار المؤثرين في السوق
• دراسة سلوك العملاء

كيفية كشط تويتر باستخدام بايثون

هناك العديد من الأدوات المتاحة لكشط بيانات تويتر بتنسيق منظم. بعضها:

• حساء جميل - هي حزمة بايثون تقوم بتحليل مستندات HTML و XML وهي مفيدة جدًا لكشط تويتر.
• واجهة برمجة تطبيقات تويتر عبارة عن غلاف Python يقوم بتنفيذ طلبات واجهة برمجة التطبيقات مثل تنزيل التغريدات والبحث عن المستخدمين وغير ذلك الكثير. يمكنك إنشاء تطبيق تويتر للحصول على مفاتيح OAuth والوصول إلى واجهة برمجة تطبيقات تويتر.
• مكشطة تويتر - يمكنك استخدام مكشطة تويتر لكشط بيانات تويتر بكلمات رئيسية أو مواصفات أخرى. 

دعونا نرى كيفية كشط التغريدات لموضوع معين باستخدام مكتبة تويتر كرابر من بايثون.

تثبيت تويتر كرابر

يمكنك تثبيت مكتبة twitterscraper باستخدام الأمر التالي:

!!pip install twitterscraper

يمكنك استخدام الأمر أدناه لتثبيت أحدث إصدار.

!pip install twitterscraper==1.6.1

أو

!pip install twitterscraper - الترقية

مكتبات الاستيراد

سوف تستورد ثلاثة أشياء، وهي....;

get_tweetspandas

من twitter_scraper استيراد تغريدات get_tweets
استيراد بانداس ك pd

ذكر المواصفات

لنفترض أننا مهتمون بكشط قائمة الوسوم التالية:

• التعلّم الآلي
• التعلّم العميق
• البرمجة اللغوية العصبية
• الرؤية الحاسوبية
• الذكاء الاصطناعي
• تينسور فلو
• بيتورش
• علم البيانات 
• تحليل البيانات وما إلى ذلك.

الكلمات المفتاحية = ['machinelearning', 'ML', ' deeplearning', 
           '#الذكاء_الاصطناعي'، ' #NLP'، ' computervision'، ' AI', 
            " tensorflow", " pytorch", " sklearn", " pandas", " plotly 
            " سبايسي"، "فاستاي"، " علم البيانات"، " تحليل البيانات"]

.

إنشاء إطار بيانات

نجري تكرارًا واحدًا لفهم كيفية تنفيذ مكتبة get_tweets. نقوم بتمرير الوسيطة الأولى أو الموضوع كوسم نريد جمع التغريدات منه. 

التغريدات = get_tweets("#Machinelearning", pages = 5)

هنا تغريدة كائن. علينا إنشاء إطار بيانات Pandas DataFrame باستخدام الكود أدناه:

tweets_df = pd.DataFrame()

طباعة المفاتيح

نستخدم الدالة أدناه لطباعة المفاتيح والقيم التي حصلنا عليها.

للتغريدة في التغريدات
 طباعة('مفاتيح:'، قائمة(tweet.keys.keys())، '\n')
  فاصل

المفاتيح المعروضة هي كما يلي:

استخراج البيانات ذات الصلة

الآن، نقوم بتشغيل الكود لكلمة رئيسية واحدة واستخراج البيانات ذات الصلة. لنفترض أننا نريد استخراج البيانات التالية:

• النص
• هو إعادة التغريد
• الردود
• إعادة التغريد
• الإعجابات

يمكننا استخدام الدالة for loop لاستخراج هذه البيانات، ومن ثم يمكننا استخدام الدالة head() للحصول على الصفوف الخمسة الأولى من بياناتنا.

for tweet in tweets:
  _ = pd.DataFrame({'text' : [tweet['text']],
                    'isRetweet' : tweet['isRetweet'],
                    'replies' : tweet['replies'],
                    'retweets' : tweet['retweets'],
                    'likes' : tweet['likes']
                    })
  tweets_df = tweets_df.append(_, ignore_index = True)
tweets_df.head()

إليك إطار البيانات الذي يحتوي على البيانات المطلوبة، ويمكنك بسهولة تصور جميع التغريدات المجمعة. 

تهانينا على إلغاء التغريدات من تويتر. والآن، ننتقل إلى فهم الحاجة إلى وكلاء تويتر.

لماذا نستخدم وكلاء تويتر؟

هل سبق لك أن نشرت شيئًا لم يكن يجب أن تنشره؟ وكلاء تويتر هم أفضل حل للمستخدمين الذين لا يستطيعون تحمل ترك جحافل متابعيهم دون محتوى جديد لفترة زمنية طويلة. بدونها، لن يحالفك الحظ وقد تفقد المتابعين بسبب قلة النشاط. تعمل هذه الوكلاء نيابةً عن جهاز الكمبيوتر الخاص بك وتخفي عنوان IP الخاص بك عن خوادم تويتر. لذا يمكنك الوصول إلى المنصة دون أن يتم حظر حسابك.

تحتاج أيضًا إلى وكيل مناسب عند استخدام أداة كشط لكشط بيانات تويتر. على سبيل المثال، يستخدم المسوّقون في جميع أنحاء العالم وكلاء أتمتة تويتر مع أدوات الكشط لكشط تويتر للحصول على معلومات قيّمة عن السوق في جزء صغير من الوقت.

البروكسيات السكنية - يمكنك استخدام البروكسيات السكنية التي تتسم بالسرعة والأمان والموثوقية والفعالية من حيث التكلفة. فهي تقدم تجربة عالية الجودة بشكل استثنائي لأنها عناوين IP آمنة وشرعية لمزود خدمة الإنترنت.

أدوات الأتمتة - يمكنك أيضًا استخدام أداة الأتمتة عند استخدام وكيل تويتر. تساعد هذه الأدوات في إدارة حسابات متعددة لأنها يمكن أن تتعامل مع العديد من المهام في وقت واحد.

على سبيل المثال، يعد TwitterAttackPro أداة رائعة يمكنها التعامل مع جميع مهام تويتر تقريبًا نيابةً عنك، بما في ذلك:

• المتابعة/إلغاء المتابعة
• التغريد/إعادة التغريد
• الرد على تعليق
• التفضيل

لاستخدام أدوات الأتمتة هذه، يجب عليك استخدام وكيل تويتر. إذا لم تفعل ذلك، فسيحظر تويتر جميع حساباتك.

ما هو أفضل وكيل لكشط تويتر باستخدام بايثون؟

ProxyScrape هي واحدة من أشهر مزودي خدمات البروكسي وأكثرها موثوقية على الإنترنت. هناك ثلاث خدمات بروكسي تشمل خوادم بروكسي مخصصة لمراكز البيانات، وخوادم بروكسي سكنية، وخوادم بروكسي متميزة. إذن، ما هو أفضل وكيل ممكن لكشط تويتر باستخدام بايثون؟ قبل الإجابة على هذا السؤال، من الأفضل الاطلاع على ميزات كل خادم وكيل.

البروكسي المخصص لمركز البيانات هو الأنسب للمهام عالية السرعة عبر الإنترنت، مثل بث كميات كبيرة من البيانات (من حيث الحجم) من خوادم مختلفة لأغراض التحليل. وهو أحد الأسباب الرئيسية التي تجعل المؤسسات تختار البروكسي المخصص لنقل كميات كبيرة من البيانات في فترة زمنية قصيرة.

يحتوي وكيل مركز البيانات المخصص على العديد من الميزات، مثل النطاق الترددي غير المحدود والاتصالات المتزامنة، ووكلاء HTTP المخصصين لسهولة الاتصال، ومصادقة IP لمزيد من الأمان. مع وقت تشغيل بنسبة 99.9%، يمكنك أن تطمئن إلى أن مركز البيانات المخصص سيعمل دائمًا خلال أي جلسة. وأخيراً وليس آخراً، يقدم ProxyScrape خدمة عملاء ممتازة وسيساعدك على حل مشكلتك خلال 24-48 ساعة عمل. 

التالي هو الوكيل السكني. السكني هو الوكيل المفضل لكل مستهلك عام. السبب الرئيسي هو أن عنوان IP الخاص بالوكيل السكني يشبه عنوان IP الذي يوفره مزود خدمة الإنترنت. وهذا يعني أن الحصول على إذن من الخادم المستهدف للوصول إلى بياناته سيكون أسهل من المعتاد. 

الميزة الأخرى في البروكسي السكني ProxyScrapeهي خاصية البروكسي الدوار. يساعدك البروكسي الدوّار على تجنب الحظر الدائم على حسابك لأن البروكسي السكني يغير عنوان IP الخاص بك ديناميكيًا، مما يجعل من الصعب على الخادم المستهدف التحقق مما إذا كنت تستخدم وكيلًا أم لا. 

وبصرف النظر عن ذلك، فإن الميزات الأخرى للوكيل السكني هي: نطاق ترددي غير محدود، إلى جانب الاتصال المتزامن، وخوادم بروكسي HTTP/ث مخصصة، وخوادم بروكسي في أي وقت بسبب وجود أكثر من 7 ملايين بروكسي في تجمع البروكسي، ومصادقة اسم المستخدم وكلمة المرور لمزيد من الأمان، وأخيرًا وليس آخرًا، القدرة على تغيير الخادم القطري. يمكنك تحديد الخادم الذي تريده عن طريق إلحاق رمز البلد بمصادقة اسم المستخدم. 

الأخير هو الوكيل المتميز. الوكلاء المتميزون هم نفس وكلاء مركز البيانات المخصصين. تظل الوظيفة كما هي. الفرق الرئيسي هو إمكانية الوصول. في الوكلاء المتميزين، يتم توفير قائمة الوكلاء (القائمة التي تحتوي على وكلاء) لكل مستخدم على شبكة ProxyScrape. هذا هو السبب في أن تكلفة البروكسيات المتميزة أقل من تكلفة البروكسيات المخصصة لمراكز البيانات.

إذن، ما هو أفضل وكيل ممكن لكشط تويتر باستخدام بايثون؟ الإجابة ستكون "الوكيل السكني". والسبب بسيط. كما قيل أعلاه، فإن الوكيل السكني هو وكيل دوّار، مما يعني أن عنوان IP الخاص بك سيتغير ديناميكيًا على مدار فترة زمنية يمكن أن تكون مفيدة لخداع الخادم عن طريق إرسال الكثير من الطلبات في إطار زمني صغير دون الحصول على حظر IP. 

بعد ذلك، سيكون أفضل شيء هو تغيير الخادم الوكيل بناءً على البلد. ما عليك سوى إلحاق رمز ISO_CODE الخاص بالبلد في نهاية مصادقة IP أو مصادقة اسم المستخدم وكلمة المرور. 

الأسئلة الشائعة:

الخاتمة

لقد ناقشنا أنه يمكنك كشط تويتر باستخدام واجهات برمجة تطبيقات تويتر وكاشطات تويتر. يمكنك استخدام مكشطة تويتر لكشط تويتر من خلال ذكر الكلمات المفتاحية والمواصفات الأخرى، كما فعلنا أعلاه. يجب على المسوقين على وسائل التواصل الاجتماعي الذين يرغبون في امتلاك أكثر من حساب على تويتر للوصول إلى نطاق أوسع استخدام وكلاء تويتر لمنع حظر الحساب. أفضل البروكسيات هي البروكسيات السكنية التي تتسم بالسرعة الفائقة ولا يتم حظرها أبدًا. 

آمل أن تكون لديك فكرة عن كيفية كشط تويتر باستخدام Python.