弗奇曼 现在有很多爬虫框架,, , 都可以在爬虫工作中使用,也可以直接通过+ 来写一些个性化的小型爬虫脚本。但是在实际爬取过程当中,爬虫框架各自有优势和scrapy,它的功能强大,但过于强大的功能也许反而让新手无所适从,并且它采用扭曲的垂直框架开发,对新手来说就是惯于理解,项目难于调试。所以我模仿了这些爬虫框架的优势,以正确的原则,搭配gevent(实际上是grequests)开发了这套轻量级爬虫框架。 downloader是下载器。 处理器是解析器。 scheduler是调度器。 pipeline是数据处理器。 将下载器,解析器,调度器,数据处理器注入核心core成为spider对