豆瓣电影排行榜数据爬取

爬虫流程

确定需求

标题，图片链接，评分

找到数据所在链接

[https://movie.douban.com/chart?t=1477886984558](https://movie.douban.com/chart?t=1477886984558

)

构造请求头向服务器发送请求

添加UA

解析数据

使用bs4进行解析数据

存储数据

可以把数据存储到csv文件

 

#构造请求头向服务器发送请求
import requests
链接='https://movie.douban.com/chart?t=1477886984558'
请求头={'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36'}
response=requests.get(url=链接,headers=请求头)
#print(f'状态码:{response.status_code}') #状态码
response=response.text #源代码#解析数据
from bs4 import BeautifulSoup
soup=BeautifulSoup(response,'lxml') #初始化
标题list=[]
评分list=[]
图片list=[]
for i in soup.find_all(class_="item"):图片链接=i.img['src']标题=i.find(class_="pl2").a.text.strip().replace(' ','').replace('\n','')评分=i.find(class_="pl2").find(class_="rating_nums").text  标题list.append(标题)评分list.append(评分)图片list.append(图片链接)#存储数据
with open('douban.csv','w',encoding='utf-8') as f:f.write('评分,图片,标题\n')for i in range(len(图片list)):f.write(f'{评分list[i]},{图片list[i]},{标题list[i]}\n')