fetchman:fetchman是一个简单的搜寻器系统 源码
弗奇曼 现在有很多爬虫框架,, , 都可以在爬虫工作中使用,也可以直接通过+ 来写一些个性化的小型爬虫脚本。但是在实际爬取过程当中,爬虫框架各自有优势和scrapy,它的功能强大,但过于强大的功能也许反而让新手无所适从,并且它采用扭曲的垂直框架开发,对新手来说就是惯于理解,项目难于调试。所以我模仿了这些爬虫框架的优势,以正确的原则,搭配gevent(实际上是grequests)开发了这套轻量级爬虫框架。 downloader是下载器。 处理器是解析器。 scheduler是调度器。 pipeline是数据处理器。 将下载器,解析器,调度器,数据处理器注入核心core成为spider对
文件列表
fetchman-master.zip
(预估有个62文件)
fetchman-master
.travis.yml
1KB
.coveragerc
426B
README-SETUP.rst
4KB
fetchman
pipeline
console_pipeline.py
471B
__init__.py
139B
test_pipeline.py
344B
base_pipeline.py
238B
暂无评论