对于分布式爬虫学习来说,或者对于技术学习来说,没有捷径,两条路可以走,第一自己反复练习,孰能生巧;第二看别人分享的代码反复学习别人的写法,直到自己做到。 今天继续通过`celery`实现分布式爬虫爬取`https://book.douban.com/tag/?view=type&icn=index-sorttags-all` 简单回忆下上篇博客涉及celery相关的知识点,celery官方定义为分布式任务队列,核心就是通过队列来实现跨线程或者跨终端进行作业分发。 队列的输入是一个作业单元,被称为`task`,我们只需要在定义好的函数上方,增加`@app.task` 装饰一下即可,查阅手