在昨天的作业中,有很多人问了我同样的问题,目录,书籍,评论不在同一个页面啊,怎么进行爬取,今天我以豆瓣为例,教导大家如何维护一个爬虫的url队列,对不同结构的网页分别解析并获取内容