كيفية كشط الويب الأمازون مع بايثون

استيراد الباندا ك PD
استيراد numpy ك np
استيراد matplotlib.pyplot كما plt
استيراد سيبورن ك SNS
٪ ماتبلوتليب مضمنة
استيراد إعادة
وقت الاستيراد
من التاريخ والوقت استيراد التاريخ والوقت
استيراد matplotlib.dates ك mdates
استيراد matplotlib.ticker كمؤشر
من urllib.request استيراد urlopen
من bs4 استيراد شوربة جميلة
طلبات الاستيراد

no_pages = 2
 
def get_data(pageNo):  
    headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:66.0) Gecko/20100101 Firefox/66.0", "Accept-Encoding":"gzip, deflate", "Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", "DNT":"1","Connection":"close", "Upgrade-Insecure-Requests":"1"}
 
    r = requests.get('https://www.amazon.in/gp/bestsellers/books/ref=zg_bs_pg_'+str(pageNo)+'?ie=UTF8&pg='+str(pageNo), headers=headers)#, proxies=proxies)
    content = r.content
    soup = BeautifulSoup(content)
    #print(soup)
 
    alls = []
    for d in soup.findAll('div', attrs={'class':'a-section a-spacing-none aok-relative'}):
        #print(d)
        name = d.find('span', attrs={'class':'zg-text-center-align'})
        n = name.find_all('img', alt=True)
        #print(n[0]['alt'])
        author = d.find('a', attrs={'class':'a-size-small a-link-child'})
        rating = d.find('span', attrs={'class':'a-icon-alt'})
        users_rated = d.find('a', attrs={'class':'a-size-small a-link-normal'})
        price = d.find('span', attrs={'class':'p13n-sc-price'})
 
        all1=[]
 
        if name is not None:
            #print(n[0]['alt'])
            all1.append(n[0]['alt'])
        else:
            all1.append("unknown-product")
 
        if author is not None:
            #print(author.text)
            all1.append(author.text)
        elif author is None:
            author = d.find('span', attrs={'class':'a-size-small a-color-base'})
            if author is not None:
                all1.append(author.text)
            else:    
                all1.append('0')
 
        if rating is not None:
            #print(rating.text)
            all1.append(rating.text)
        else:
            all1.append('-1')
 
        if users_rated is not None:
            #print(price.text)
            all1.append(users_rated.text)
        else:
            all1.append('0')     
 
        if price is not None:
            #print(price.text)
            all1.append(price.text)
        else:
            all1.append('0')
        alls.append(all1)    
    return alls

بالنسبة إلى i في النطاق (1 ، no_pages + 1):
    النتائج.إلحاق (get_data(i))
تسطيح = لامدا L: [عنصر للقائمة الفرعية في L للعنصر في القائمة الفرعية]
df = PD. DataFrame (تسطيح (نتائج) ، أعمدة = ['اسم الكتاب' ، 'المؤلف' ، 'التقييم' ، 'Customers_Rated' ، 'السعر'])
df.to_csv('amazon_products.csv', index=False, encoding='utf-8')

df = pd.read_csv ("amazon_products.csv")
df.shape

مدافع الرأس(61)

df['Rating'] = df['Rating'].apply(lambda x: x.split()[0])
df ['تصنيف'] = pd.to_numeric(df['تصنيف'])
df["السعر"] = df["السعر"].str.replace('₹', '')
df["السعر"] = df["السعر"].str.replace(',', '')
df ['السعر'] = df ['السعر'].apply (لامدا x: x.split ('.') [0])
df ['السعر'] = df ['السعر'] .astype (int)
df["Customers_Rated"] = df["Customers_Rated"].str.replace(',', '')
df['Customers_Rated'] = pd.to_numeric(df['Customers_Rated'], errors='ignore')
df.head()

مدافع. استبدال (str (0) ، np.نان ، في المكان = صحيح)
مدافع. استبدال (0 ، np.نان ، في المكان = صحيح)
count_nan = لين (DF) - DF. العد ()
count_nan

df = df.dropna ()

data = data.sort_values(['Rating'],axis=0, تصاعدي = False)[:15]
data

data = df [df ['Customers_Rated'] > 1000] data = data.sort_values (['Rating'] ، المحور = 0 ، تصاعدي = خطأ) [: 15] بيانات

p = الشكل (x_range = data.iloc [: ، 0] ، plot_width = 800 ، plot_height = 600 ، العنوان = "الكتب الأعلى تقييما بأكثر من 1000 عميل تقييم" ، toolbar_location = لا شيء ، الأدوات = "")
 
p.vbar (x = data.iloc [: ، 0] ، أعلى = data.iloc [: ، 2] ، العرض = 0.9)
 
p.xgrid.grid_line_color = لا شيء
p.y_range.start = 0
p.xaxis.major_label_orientation = math.pi/2
عرض (ع)

من Bokeh.Transform استيراد factor_cmap
من bokeh.models استيراد أسطورة
من bokeh.palettes استيراد Dark2_5 كلوحة
استيراد أدوات التكرار
من بوكيه.باليتس استيراد D3
يحتوي #colors على قائمة من الألوان التي يمكن استخدامها في المؤامرات
الألوان = itertools.cycle (لوحة)
 
لوحة = d3 ['Category20'] [20]
index_cmap = factor_cmap ("المؤلف" ، لوحة = لوحة ،
                         العوامل = البيانات ["المؤلف"])
p = الشكل (plot_width = 700 ، plot_height = 700 ، العنوان = "كبار المؤلفين: التقييم مقابل تصنيف العملاء")
p.scatter ('تصنيف','Customers_Rated',source=data,fill_alpha=0.6, fill_color=index_cmap,size=20,legend='Author')
p.xaxis.axis_label  = "تصنيف" p.yaxis.axis_label = "تصنيف العملاء" p.legend.location = 'top_left'show(p)