Scrapy_demo 如果该项目对您有帮助,则该项目会抓取我最常抓取的网站列表,请加星号,谢谢:) 蜘蛛清单 豆瓣 douban_oss googleplay cnbeta K a cnblogs 项目特色 google play使用抓取蜘蛛和pymongo douban使用图像管道下载图像(如果被禁止,则使用标题),完成后将输出项目信息的txt文件 cnbeta使用sqlalchmey将项目保存到mysql数据库(或sqlalchemy支持的其他数据库) ka使用kafka,这是一个演示蜘蛛,如何将scrapy和kafka一起使用,该蜘蛛不会关闭,如果您向kafka推送消息,