python爬虫爬取豆瓣电影排行榜并通过pandas保存到Excel文件当中

我们的需求是利用python爬虫爬取豆瓣电影排行榜数据,并将数据通过pandas保存到Excel文件当中(步骤详细) 我们用到的第三方库如下所示: import requests import pandas as pd import json 下面我们看一下豆瓣电影排行榜的信息(以喜剧电影排行榜为例) 思路步骤: 注意:之前我们写过爬取链家房源数据的爬虫(见下方),通过观察我们发现,链家网址进行翻页是在url地址上更改页数数字即可,所以当时用的xpath。那么由于豆瓣电影排行榜翻页的时候只能通过下拉的方式,而不能通过更改url地址页数,所以这里我们就通过另外一种简单的方式进行爬取。 xp