antcolony:Nodejs实现的一个磁力链接爬虫http://findit.keenwon.com(原域名http:findit.so) 源码
蚁群 介绍 AntColony(Github)是findit磁力搜索引擎的核心。在DHT网络中,收集活跃资源的infohash,下载并解析资源的种子文件,存入数据库等。AntColony是某些功能的合集,也可以单独运行其中的部分功能,所以起“蚁群”这个名字也是很贴切的(没错,我就是爱动物世界)。主要分一下几块: worker:爬虫,收集资源infohash,可以同时启动多个进程的worker,提高效率 男:根据收集来的infohash去下载种子文件 女:将种子文件录入数据库 queen:简单的入口,启动pm2运行worker,男和女 目前启动5个worker使用3000-3004的端口,
文件列表
antcolony-master.zip
(预估有个28文件)
antcolony-master
.jshintrc
845B
.github
lock.yml
1KB
log
info.log
0B
config.js
1KB
Gruntfile.js
3KB
src
common
暂无评论