摆脱剧荒！教你用 Python 一步步爬取豆瓣电影新榜单

headers = {'User-Agent':


    
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}

def parse_base_info(url,headers):
    html = requests.get(url,headers = headers)   
    bs = json.loads(html.text)
    df = pd.DataFrame()
    for i in bs['data']:
        casts = i['casts']  #主演
        cover = i['cover']  #海报
        directors = i['directors']  #导演
        m_id = i['id']  #ID
        rate = i['rate'] #评分
        star = i['star'] #标记人数 
        title = i['title']  #片名
        url = i['url']  #网址
        cache = pd.DataFrame({'主演':[casts],'海报':[cover],'导演':[directors],
                              'ID':[m_id],'评分':[rate],'标记':[star],'片名':[title],'网址':[url]})
        df = pd.concat([df,cache])
    return df

#你想爬取多少页，其实这里对应着加载多少次
def format_url(num):
    urls = []
    base_url = 'https://movie.douban.com/j/new_search_subjects?sort=T&range=0,10&tags=%E7%94%B5%E5%BD%B1&start={}'
    for i in range(0


    
,20 * num,20):
        url = base_url.format(i)
        urls.append(url)
    return urls

urls = format_url(450)

result = pd.DataFrame()
#看爬取了多少页
count = 1
for url in urls:
    df = parse_base_info(url,headers = headers)
    result = pd.concat([result,df])
    time.sleep(random.random() + 2)
    print('I had crawled page of:%d' % count)
    count += 1

def parse_movie_info(url,headers = headers,ip = ''):
    if ip == '':
        html = requests.get(url,headers = headers)
    else:
        html = requests.get(url,headers = headers,proxies = ip)
    bs = etree.HTML(html.text)
    #片名
    title = bs.xpath('//div[@id = "wrapper"]/div/h1/span')[0].text  
    #上映时间
    year = bs.xpath('//div[@id = "wrapper"]/div/h1/span')[1].text   
    #电影类型
    m_type = []
    for t in


    
 bs.xpath('//span[@property = "v:genre"]'):
        m_type.append(t.text)   
    a = bs.xpath('//div[@id= "info"]')[0].xpath('string()')
    #片长
    m_time =a[a.find('片长: ') + 4:a.find('分钟\n')]  #时长
    #地区
    area = a[a.find('制片国家/地区:') + 9:a.find('\n        语言')]  #地区
    #评分人数
    try:
        people = bs.xpath('//a[@class = "rating_people"]/span')[0].text
    #评分分布
        rating = {}
        rate_count = bs.xpath('//div[@class = "ratings-on-weight"]/div')
        for rate in rate_count:
            rating[rate.xpath('span/@title')[0]] = rate.xpath('span[@class = "rating_per"]')[0].text
    except:
        people = 'None'
        rating = {}
    #简介
    try:
        brief = bs.xpath('//span[@property = "v:summary"]')[0].text.strip('\n                                \u3000\u3000')
    except:
        brief = 'None'
    try:
        hot_comment = bs.xpath('//div[@id = "hot-comments"]/div/div/p/span')[0].text
    except:
        hot_comment = 'None'
    cache = pd.DataFrame({'片名':[title],'上映时间':[year],'电影类型':[m_type],'片长':[m_time],
                          '地区':[area],'评分人数':[people],'评分分布':[rating],'简介':[brief],'热评':[hot_comment],'网址':[url]})
    return cache

movie_result = pd.DataFrame()
ip = ''  #这里构建自己的IP池
count2 = 1
cw = 1

for url,name in zip(result['网址'].values[6000:],result['片名'].values[6000:]):
#for name,url in wrongs.items():
    try:
        cache = parse_movie_info(url,headers = headers,ip = ip)
        movie_result = pd.concat([movie_result,cache])
        #time.sleep(random.random())
        print('我们爬取了第:%d部电影-------%s' % (count2,name))
        count2 += 1
    except:
        print('滴滴滴滴滴，第{}次报错'.format(cw))
        print('ip is:{}'.format(ip))
        cw += 1
        time.sleep(2)
        continue

#把单列字典的评分分布转化成分开的5列，且每一列是数值型的
def get_rate(x,types):
    try:
        return float(x[types].strip('%'))
    except:
        pass

movie_combine['5星'] = movie_combine['format_评分'].apply(get_rate,types = '力荐')
movie_combine['4星'] = movie_combine['format_评分'].apply(get_rate,types = '推荐')
movie_combine['3星'] = movie_combine['format_评分'].apply(get_rate,types = '还行')
movie_combine['2星'] = movie_combine['format_评分'].apply(get_rate,types = '较差')
movie_combine['1星'] = movie_combine['format_评分'].apply(get_rate,types = '很差')

#按照总评分，5星评分人数占比，4星占比，3星..依次类推
movie_combine.sort_values(['评分','5星','4星','3星','2星','1星'],ascending = False,inplace = True)

final_rank = pd.DataFrame()
for century,count in zip(century_f.index,century_f.values):    
    f1 = movie_f2.loc[movie_f['年代'] == century,:]    
    #1000部以下的，取TOP10%    
    if count 1000:        
        return_num = int(count * 0.1)    
    #1000部以上的，取前100部   
    else:        
        return_num = 100    
    f2 = f1.iloc[:return_num,:]    
    final_rank = pd.concat([final_rank,f2])