现在有很多爬虫框架,比如scrapy、webmagic、pyspider,也可以直接通过requests beautifulsoup来写一些个性化的小型爬虫脚本。但是在实际爬取过程当中,仍然不能完全满足实际需要。所以我搭配gevent开发了这套轻量级爬虫框架。