Scrapy-Redis Scrapy的基于Redis的组件。 免费软件:MIT许可证 文档: : 。 Python版本:2.7、3.4+ 特征 分布式抓取/抓取 您可以启动共享单个redis队列的多个蜘蛛实例。 最适合广泛的多域爬网。 分布式后处理 报废的项目将被放入Redis队列中,这意味着您可以启动所需的共享项目队列的后处理流程。 轻巧的即插即用组件 计划程序+复制过滤器,项目管道,基本蜘蛛网。 笔记 此功能涵盖了在多个工作人员之间分配工作负载的基本情况。 如果您需要更多功能,例如URL到期,高级URL优先级设置等,我们建议您看一下项目。 要求 Python 2.7、3