Python 模拟爬虫抓取知乎用户信息.rar

Python 模拟爬虫抓取知乎用户信息以及人际拓扑关系，使用scrapy爬虫框架，数据存储使用mongo数据库。 　　本地运行请注意：爬虫依赖mongo和rabbitmq，因此这两个服务必须正常运行和配置。为了加快下载效率，图片下载是异步任务，因此在启动爬虫进程执行需要启动异步worker，启动方式是进入zhihu_spider/zhihu目录后执行下面命令: 　　celery -A zhihu.tools.async worker --loglevel=info 　　爬虫项目部署： 　　进入zhihu_spider后执行```docker-compose up``` ，进入container