之前写过一篇爬取小说的博客,但是单线程爬取速度太慢了,之前爬取一部小说花了700多秒,1秒两章的速度有点让人难以接受。 所以弄了个多线程的爬虫。 这次的思路和之前的不一样,之前是一章一章的爬,每爬一章就写入一章的内容。这次我新增加了一个字典用于存放每章爬取完的内容,最后当每个线程都爬取完之后,再将所有信息写入到文件中。 之所以用字典是因为爬完之后需要排序,字典的排序比较方便 为了便于比较,这次选择的还是之前博客里面相同的小说,不清楚的可以看看那篇博客: python爬虫实例之小说爬取器 下面就上新鲜出炉代码: import threading import time from bs4 impo