python知乎热榜的爬虫
知乎热榜的爬虫默认间隔一分钟爬一次会接着爬热榜上问题的回答进度用redis储存结果存到mysql启动分布式的先启动服务器端tw spider server然后启动客户端zhihu hot spider即可因为我只有一台电脑所以我也不知道同时启动多个客户端效果咋样设置server端redis和mysql设置UrlPool的三个参数分别是在redis中key的前缀用redis的几号库host.端口是默认的6379要改的话在tw url pool改
文件列表
SpiderPractice-main.zip
(预估有个67文件)
SpiderPractice-main
main.py
729B
LICENSE
34KB
scrapy.cfg
271B
SpiderPractice
__init__.py
0B
pipelines.py
2KB
spiders
__init__.py
161B
weather.py
2KB
暂无评论