webspider 1.0.0.5.tar.gz
稳定的网络蜘蛛,可以并行抓取多个站点,BS架构控制系统,使用httpsqs 和淘宝的tair可以作为分布式爬虫基础,去重能力强,存储系统为mysql,可以用sphinx等做索引
文件列表
webspider-1.0.0.5.tar.gz
(预估有个37文件)
webspider
uthash.h
58KB
tair_client.h
102B
log.h
645B
get_conf.h
285B
url.h
594B
get_conf.c
2KB
strfunc.c
3KB
httpsqs_client.cpp
9KB
robots.c
2KB
暂无评论