كيفية كشط الويب من أمازون باستخدام بايثون

استيراد بانداس ك pd
استيراد numpy ك np
استيراد matplotlib.pyplot ك plt
استيراد سيبورن ك sns
% مضمنة في Matplotlib
استيراد إعادة
استيراد الوقت
من التاريخ والوقت استيراد التاريخ والوقت
استيراد matplotlib.dates باسم mdates
استيراد matplotlib.ticker كمؤشر 
من urllib.request استيراد urlopen من urllib.request استيراد urlopen
من bs4 استيراد حساء جميل
استيراد الطلبات

no_pages = 2
 
def get_data(pageNo):  
    headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:66.0) Gecko/20100101 Firefox/66.0", "Accept-Encoding":"gzip, deflate", "Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", "DNT":"1","Connection":"close", "Upgrade-Insecure-Requests":"1"}
 
    r = requests.get('https://www.amazon.in/gp/bestsellers/books/ref=zg_bs_pg_'+str(pageNo)+'?ie=UTF8&pg='+str(pageNo), headers=headers)#, proxies=proxies)
    content = r.content
    soup = BeautifulSoup(content)
    #print(soup)
 
    alls = []
    for d in soup.findAll('div', attrs={'class':'a-section a-spacing-none aok-relative'}):
        #print(d)
        name = d.find('span', attrs={'class':'zg-text-center-align'})
        n = name.find_all('img', alt=True)
        #print(n[0]['alt'])
        author = d.find('a', attrs={'class':'a-size-small a-link-child'})
        rating = d.find('span', attrs={'class':'a-icon-alt'})
        users_rated = d.find('a', attrs={'class':'a-size-small a-link-normal'})
        price = d.find('span', attrs={'class':'p13n-sc-price'})
 
        all1=[]
 
        if name is not None:
            #print(n[0]['alt'])
            all1.append(n[0]['alt'])
        else:
            all1.append("unknown-product")
 
        if author is not None:
            #print(author.text)
            all1.append(author.text)
        elif author is None:
            author = d.find('span', attrs={'class':'a-size-small a-color-base'})
            if author is not None:
                all1.append(author.text)
            else:    
                all1.append('0')
 
        if rating is not None:
            #print(rating.text)
            all1.append(rating.text)
        else:
            all1.append('-1')
 
        if users_rated is not None:
            #print(price.text)
            all1.append(users_rated.text)
        else:
            all1.append('0')     
 
        if price is not None:
            #print(price.text)
            all1.append(price.text)
        else:
            all1.append('0')
        alls.append(all1)    
    return alls

بالنسبة إلى i في النطاق(1, no_pages+1):
    نتائج.append(get_data(i))
التسطيح = lambda l: [العنصر للقائمة الفرعية في l للعنصر في القائمة الفرعية]
df = pd.DataFrame(flatten(results),columns=['Book Name','author','Rating','Customers_Rated', 'Price'])
df.to_csv('amazon_products.csv'، فهرس=False، ترميز='utf-8')

df = pd.read_csv("amazon_products.csv")
شكل df.form

دف.هيد(61)

df['Rating] = df['Rating].apply(lambda x: x.split()[0])
df['Rating '] = pd.to_numeric(df['Rating'])
df[" السعر"] = df["السعر"].str.replace("₹", '')
df[" السعر"] = df["السعر"].str.replace('، ',', '')
df['Price ] = df['Price].apply(lambda x: x.split('.')[0])
df['Price] = df['Price].astype(int)
df['Customers_Rated] = df['Customers_Rated].str.replace(',', '', '')
df['Customers_Rated ]] = pd.to_numeric(df['Customers_Rated], errors='ignore')
df.head()

df.replace(str(0), np.nan, inplace=صحيح)
df.replace(0, np.nan, inplace=صحيح)
Count_nan = len(df) - df.count()
العد_نان

df = df.dropna()

البيانات = data.sort_values(['Rating'],axis=0, ascending=False)[:15]
البيانات

البيانات = df[df['Customers_Rated] > 1000]
البيانات = data.sort_values(['Rating'],axis=0, ascending=False)[:15]
البيانات

p = figure(x_range=data.iloc[:,0]، plot_width=800، plot_height=600، title="الكتب الأعلى تقييماً مع أكثر من 1000 تقييم من العملاء"، tool_location=None، tool=""")
 
p.vbar(x=data.iloc[:,0]، top=data.iloc[:,2]، العرض=0.9)
 
p.xgrid.grid_line_color = لا شيء
p.y_range.start = 0
p.xaxis.major_label_orientation = math.pi/2
إظهار(p)

من bokeh.transform استيراد عامل_cmap من bokeh.transform 
من bokeh.models استيراد أسطورة
من bokeh.palettes استيراد Dark2_5 كلوحة ألوان
استيراد itertools
من bokeh.palettes استيراد d3
تحتوي#الألوان على قائمة بالألوان التي يمكن استخدامها في المخططات
الألوان = itertools.cycle(palette)
 
لوحة الألوان = d3['Category20'][20]
index_cmap = factor_cmap("المؤلف"، لوحة الألوان = لوحة الألوان,
                         العوامل=بيانات["المؤلف"]))
p = الشكل(plot_width=700،plot_height=700، العنوان = "أفضل المؤلفين: التقييم  مقابل تقييم العملاء"))
p.مبعثر('تصنيف'،'الزبائن_مصنفين'، المصدر=بيانات,ملء_ألفا=0.6، ملء_اللون=index_cmap، الحجم=20، وسيلة الإيضاح='مؤلف')
p.xaxis.axis.axis_label = 'RATING'
p.yaxis.axis.axis_label = ' تقييم العملاء'
p.legend.location = 'top_left'
 
إظهار(p)