使用scrapy-redis开发,可以使用分布式爬取,也可以单击运行,能对爬取过的文章和章节进行去重,加快采集速度