كيف تتخلص من الأسعار من المواقع الإلكترونية؟ دليل قوي في 2024

وفقًا لشركة Statista، في عام 2021، بلغت مبيعات التجارة الإلكترونية بالتجزئة 4.9 تريليون دولار أمريكي في جميع أنحاء العالم. وهذا مبلغ كبير، ومن المتوقع أن يصل إلى 7 تريليونات دولار أمريكي بحلول عام 2025. كما يمكنك أن تخمن، مع هذه الإيرادات الكبيرة المحتملة في التجارة الإلكترونية، لا بد أن تكون المنافسة شرسة.

وفقًا لشركة Statista، في عام 2021، بلغت مبيعات التجارة الإلكترونية بالتجزئة 4.9 تريليون دولار أمريكي في جميع أنحاء العالم. وهذا مبلغ كبير، ومن المتوقع أن يصل إلى 7 تريليونات دولار أمريكي بحلول عام 2025. كما يمكنك أن تخمن، مع هذه الإيرادات الكبيرة المحتملة في التجارة الإلكترونية، لا بد أن تكون المنافسة شرسة.

لذلك، من الضروري التكيف مع أحدث الاتجاهات من أجل البقاء والازدهار في هذا الجو شديد التنافسية. إذا كنت لاعباً في السوق، فإن الخطوة الأولى في هذا الاتجاه هي تحليل منافسيك. أحد المكونات الرئيسية لهذا التحليل هو السعر. ستساعدك مقارنة أسعار المنتجات بين المنافسين على تحديد السعر الأكثر تنافسية في السوق. 

كما أنك إذا كنت مستخدمًا نهائيًا، فستتمكن من اكتشاف أقل الأسعار لأي منتج. لكن التحدي الحقيقي هنا هو أن العديد من مواقع التجارة الإلكترونية متاحة على الإنترنت. من المستحيل الذهاب يدوياً إلى كل موقع إلكتروني والتحقق من سعر كل منتج. هنا يأتي دور ترميز الكمبيوتر. بمساعدة كود Python، يمكننا استخراج المعلومات من المواقع الإلكترونية. هذا يجعل عملية استخراج الأسعار من مواقع الويب نزهة في الحديقة. 

ستناقش هذه المقالة كيفية كشط الأسعار من مواقع الويب من موقع للتجارة الإلكترونية باستخدام Python كمثال. 

لا تتردد في التحقق من القسم الذي تريد معرفته أكثر من غيره.

هل تجزئة الويب قانونية؟

كشط الأسعار من المواقع الإلكترونية

الخطوة 1: تثبيت المكتبات الضرورية:

الخطوة 2: استخراج بيانات الويب:

الخطوة 3: تحليل البيانات:

الخطوة 4: تكرار الكود للحصول على المزيد من البيانات:

الخطوة 5: الحصول على المخرجات:

الأسئلة الشائعة:

الخلاصة:

مفتاحالمعلومات الأساسية:

هل تجزئة الويب قانونية؟

قبل أن نتعامل مع تجريف الأسعار من المواقع الإلكترونية، يجب أن نناقش التعريف والعوامل القانونية وراء تجريف المواقع الإلكترونية.

تستخدم عملية كشط الويب، والمعروفة أيضًا باسم استخراج بيانات الويب، الروبوتات للزحف عبر موقع ويب مستهدف وجمع البيانات الضرورية. عندما تسمع مصطلح "تجريف الويب"، فإن السؤال الأول الذي قد يتبادر إلى ذهنك هو ما إذا كان تجريف الويب قانونيًا أم لا.

تعتمد هذه الإجابة على سؤال آخر: "ماذا ستفعل بالبيانات التي تم كشطها؟ من القانوني أن تحصل على بيانات من مواقع إلكترونية أخرى لتحليلها شخصياً بما أن جميع المعلومات المعروضة هي للاستهلاك العام. ولكن، إذا كانت البيانات التي تستخدمها لتحليلك الخاص تؤثر على المالك الأصلي للبيانات بأي شكل من الأشكال، فهذا غير قانوني. ولكن في عام 2019، قضت محكمة فيدرالية أمريكية بأن تجريف المواقع الإلكترونية لا ينتهك قوانين القرصنة.

باختصار، من الأفضل دائمًا التدرب على استخراج البيانات من المواقع الإلكترونية التي لا تؤثر على المالك الأصلي للبيانات. شيء آخر يجب أخذه في الاعتبار هو كشط ما تحتاجه فقط. من المحتمل أن يؤثر كشط الكثير من البيانات من الموقع الإلكتروني على النطاق الترددي أو أداء الموقع الإلكتروني. من المهم أن تراقب هذا العامل. 

إذا لم تكن على دراية بكيفية التحقق مما إذا كان الموقع الإلكتروني يسمح بكشط الويب أم لا، فهناك طرق للقيام بذلك:

تحقق من ملف Robot.txt - يقدم هذا الملف النصي الذي يمكن للبشر قراءته معلومات حول مقدار البيانات التي يمكنك كشطها من مواقع ويب معينة. يساعدك الملف النصي للروبوت في تحديد ما يجب كشطه وما لا يجب كشطه. يتبع ناشرو المواقع الإلكترونية المختلفة تنسيقات مختلفة لملفات الروبوت الخاصة بهم. يوصى بالتحقق من الملف قبل إجراء عملية الكشط.ملفات خريطة الموقع - ملف خريطة الموقع هو ملف يحتوي على المعلومات الضرورية حول صفحة الويب والصوت والفيديو والملفات الأخرى حول الموقع الإلكتروني. تقرأ محركات البحث هذا الملف للزحف إلى الصفحة بشكل أكثر كفاءة. حجم الموقع الإلكتروني - كما ذكرنا أعلاه، فإن الزحف إلى أطنان من البيانات يؤثر على كفاءة الموقع الإلكتروني وكفاءة الكاشطة. راقب حجم الموقع الإلكتروني. ملاحظة: هنا، يشير حجم الموقع الإلكتروني إلى عدد الصفحات المتاحة.تحقق من الشروط والأحكام - من الجيد دائمًا التحقق من شروط وأحكام الموقع الإلكتروني الذي تريد الزحف إليه. من المحتمل أن تحتوي الشروط والأحكام على قسم يتعلق بكشط الويب، بما في ذلك مقدار البيانات التي يمكنك كشطها والتقنية التي يستخدمونها في مواقعهم الإلكترونية.

كيفية كشط الأسعار من المواقع الإلكترونية باستخدام بايثون؟

الآن، يجب أن يكون لديك فهم أساسي لكشط الويب والعوامل القانونية وراء كشط الويب. دعونا نرى كيف يمكننا بناء مكشطة ويب بسيطة للعثور على أسعار أجهزة الكمبيوتر المحمولة من موقع للتجارة الإلكترونية. تُستخدم لغة Python، إلى جانب دفتر ملاحظات Jupyter، لبناء الكاشطة.

5 خطوات لكشط الأسعار من المواقع الإلكترونية باستخدام Python

الخطوة 1: تثبيت المكتبات الضرورية:

في لغة Python، تقوم مكتبة تسمى "BeautifulSoup" بجمع البيانات من مواقع الويب الأخرى لكشط الأسعار من مواقع الويب.

إلى جانب الحساء الجميل، نستخدم "Pandas" و "الطلبات". تُستخدم "بانداس " لإنشاء إطار بيانات وإجراء تحليل بيانات عالي المستوى، و" طلبات " هي مكتبة HTTP التي تساعد على طلب البيانات من المواقع الإلكترونية. لتثبيت المكتبات المذكورة في بايثون، استخدم الكود التالي الموضح أدناه:

من bs4 bs4 استيراد حساء بيوتيفوسوب
استيراد الطلبات
استيراد بانداس ك pd
استيراد urllib.parse

الخطوة 2: استخراج بيانات الويب:

من أجل ممارسة أفضل، في هذا المثال، لم يتم إظهار اسم الموقع الإلكتروني. سيوفر لك اتباع الإرشادات القانونية لكشط الويب المذكورة أعلاه والخطوات التالية النتيجة. بمجرد الحصول على عنوان موقع الويب، يمكنك حفظه في متغير والتحقق مما إذا كان الطلب مقبولاً أم لا. لاستخراج البيانات، اتبع كود بايثون الموضح أدناه:

seed_url = 'example.com/laptops'
الاستجابة = طلبات.get(seed_url) #التحقق مما إذا كان الطلب مقبولاً أم لا
رمز_رمز_الحالة_الاستجابة#200 هو الرمز الذي يشير إلى حالة موافق، مما يعني قبول الطلب 
200

سيعطيك رمز_الحالة النتيجة، سواء حصلنا على طلب أم لا. هنا رمز_الحالة '200' يعني أن الطلب مقبول. الآن، حصلنا على الطلب. الخطوة التالية هي تحليل البيانات.

الخطوة 3: تحليل البيانات:

التحليل هو عملية تحويل تنسيق إلى تنسيق آخر. في هذه الحالة، يتم إجراء تحليل HTML، أي تحويل البيانات (HTML) إلى تنسيق داخلي (بايثون) حتى تتمكن البيئة من تشغيل البيانات. توضح الصورة التالية كود بايثون لتنفيذ عملية تحليل البيانات باستخدام مكتبة BeautifulSoup:

الحساء = الحساء الجميل (محتوى الاستجابة، 'html.parser')

من خلال تحليل صفحات الويب، تحصل بايثون على جميع البيانات مثل الأسماء والعلامات والأسعار وتفاصيل الصور وتفاصيل تخطيط الصفحة.

كما ذكرنا أعلاه، فإن هدفنا هو العثور على أسعار الكمبيوتر المحمول على موقع للتجارة الإلكترونية. المعلومات الضرورية لهذا المثال هي اسم الحاسوب المحمول وسعره. للعثور على ذلك، قم بزيارة صفحة الويب التي تريد إلغاءها. انقر بزر الماوس الأيمن على صفحة الويب وحدد "خيار الفحص". سترى محطة طرفية مثل هذه:

استخدم الخيار المميز للمرور فوق اسم الكمبيوتر المحمول والسعر والحاوية. إذا قمت بذلك، يمكنك رؤية رمز القسمة مظللًا في المنصة. من هناك، يمكنك الحصول على تفاصيل الفئة. بمجرد حصولك على تفاصيل الصنف، أدخل جميع المعلومات في شيفرة بايثون أدناه.  

results = soup.find_all('div', {'class':'item-container'})
len(results)

results[1]

#NECESSARY DATA:
#Name and Price of the item
Name_of_the_Item= soup.find('a', {'class':'item-title'}).get_text()
print(Name_of_the_Item)

price=soup.find('li', {'class':'price-current'}).get_text()
print(price)

الخطوة 4: تكرار الكود للحصول على المزيد من البيانات:

الآن لديك سعر جهاز كمبيوتر محمول واحد. ماذا لو كنت بحاجة إلى 10 حواسيب محمولة؟ من الممكن باستخدام نفس الكود في حلقة for loop. يظهر كود Python لتنفيذ حلقة for loop أدناه.

Name_of_the_item = []
Price_of_the_item = []
for soup in results:
    try:
        Name_of_the_item.append(soup.find('a', {'class':'item-title'}).get_text()) 
    except:
        Name_of_the_item.append('n/a')
    try:
        Price_of_the_item.append(soup.find('li', {'class':'price-current'}).get_text())
    except:
        Price_of_the_item.append('n/a')
print(Name_of_the_item)
print(Price_of_the_item)

الخطوة 5: الحصول على المخرجات:

الآن بعد أن انتهينا من جميع خطوات كشط الويب، دعنا نرى كيف يبدو الناتج.

لاسم أجهزة الكمبيوتر المحمولة:

مقابل سعر أجهزة الكمبيوتر المحمول:

هذا ليس بتنسيق قابل للقراءة. لتحويل هذا إلى تنسيق قابل للقراءة، ويفضل أن يكون بتنسيق جدول (إطار بيانات)، يمكنك استخدام مكتبة بانداس. يظهر كود بايثون أدناه حول كيفية تنفيذ هذه الخطوة.

#Creating a dataframe
product_details=pd.DataFrame({'Name': Name_of_the_item, 'Price':Price_of_the_item})
product_details.head(10)

يبدو الآن قابلاً للقراءة. الخطوة الأخيرة هي حفظ إطار البيانات هذا في ملف CSV للتحليل. فيما يلي كود بايثون لحفظ إطار البيانات في تنسيق CSV.

Product_details.to_csv("Web-scraping.csv")

باستخدام هذا، يمكنك إجراء تحليل تنافسي بسيط، مع التركيز على أسعار المنتجات. بدلاً من القيام بذلك يدويًا، يعد كشط الويب الآلي باستخدام python طريقة فعالة وتوفر لك الكثير من الوقت. 

ProxyScrape:

كما تمت مناقشته أعلاه حول كيفية التحقق مما إذا كان الموقع الإلكتروني يسمح بكشط الويب، ستساعدك البروكسيات على حل المشكلة.

تساعدك البروكسيات على إخفاء عنوان IP المحلي الخاص بك ويمكن أن تجعلك مجهول الهوية على الإنترنت. يمكن أن يساعدك القيام بذلك على كشط البيانات من مواقع الويب دون مشاكل. ProxyScrape هو أفضل مكان للحصول على وكلاء متميزين، وكذلك وكلاء مجانيين. مزايا استخدام ProxyScrape هي:

• إخفاء هويتك، مما يضمن عدم تعرضك للحظر.
• يمكن استخدامه على جميع أنظمة التشغيل.
• يدعم معظم معايير الويب الحديثة.
• لا يوجد حد للتنزيل.
• يساعدك على إجراء كشط الويب دون المساس بكفاءة الكاشطة.
• ضمان وقت تشغيل بنسبة 99%.

الأسئلة الشائعة:

الأسئلة الشائعة:

الخلاصة:

في هذه المقالة، رأينا كيفية كشط الأسعار من مواقع الويب باستخدام بايثون. يعد كشط الويب طريقة فعالة للحصول على البيانات عبر الإنترنت. تستخدم معظم الشركات المبتدئة كشط الويب للحصول على البيانات الضرورية باتباع جميع الإرشادات الأخلاقية دون إنفاق الكثير من الوقت والموارد. تتوفر أدوات مخصصة لكشط الويب عبر الإنترنت للحصول على معلومات مختلفة، مثل الأسعار ومعلومات المنتج. يمكنك زيارة هنا لمعرفة المزيد عن أدوات كشط الويب.

تأمل هذه المقالة أن تكون قد أعطت معلومات كافية للإجابة على السؤال "كيف تتخلص من الأسعار من المواقع الإلكترونية؟ لكن الحقيقة أنه لا توجد طريقة محددة لكشط الأسعار من المواقع الإلكترونية. يمكنك استخدام أدوات كشط الويب المخصصة لكشط الأسعار من مواقع الويب أو إنشاء برامج نصية خاصة بك على لغة البيثون لكشط الأسعار من مواقع الويب. وفي كلتا الحالتين، يمكنك توفير الوقت وجمع الكثير من البيانات دون صعوبة. 

الوجبات السريعة الرئيسية:

• يعد كشط الويب طريقة فعالة للحصول على البيانات عبر الإنترنت دون إنفاق الكثير من الوقت والموارد.
• يجب تنفيذ عملية كشط الويب باتباع جميع الإرشادات الأخلاقية.
• تُستخدم مكتبات Python مثل "BeautifulSoup" لكشط الويب
• يساعد استخدام البروكسيات على إجراء كشط الويب دون تدخل.

تنويه: هذه المقالة هي لأغراض التعلم فقط. بدون اتباع الإرشادات المناسبة، قد يُعتبر إجراء تجريف الويب نشاطًا غير قانوني. لا تدعم هذه المقالة تجريف الويب غير القانوني بأي شكل من الأشكال.