node.js爬虫框架node crawler初体验

百度爬虫这个词语,一般出现的都是python相关的资料。 py也有很多爬虫框架,比如scrapy,Portia,Crawley等。 之前我个人更喜欢用C#做爬虫。 随着对nodejs的熟悉。发现做这种事情还是用脚本语言适合多了,至少不用写那么多的实体类。而且脚本一般使用比较简单。 在github上搜索node+spider,排名第一的就是node-crawler github:https://github.com/bda-research/node-crawler 简单使用 npm 安装: npm install crawler new一个crawler对象 var c = new