爬虫市场 项目简介 该项目主要作用是将平时写过的爬虫代码搜集起来,盔甲日后参考和学习! 主要依赖环境(Python3.8.8) crawlab-sdk==0.3.3 bs4==0.0.1 lxml==4.6.2 jsonpath==0.82 selenium==3.141.0 requests==2.22.0 Scrapy==2.2.0 ipython==7.21.0 PyMySQL==0.9.3 pymongo==3.10.1 redis==3.5.3 scrapy-redis==0.6.8 友情链接 :高可用IP代理池 :基于Golang的分布式爬虫管理平台 :Chrome驱动 :Firefox驱动 :基于框架开发的一套分布式爬虫组件