Crawler Parallel:C语言并行爬虫(epoll)爬取服务器的16W个有效网页通过爬取页面源代码进行确定性自动机匹配和布隆过滤器去重对链接编号并写入
crawler_parallel make后执行:./crawler服务器ip地址扩展号url.txt
文件列表
Crawler-Parallel-master.zip
(预估有个13文件)
Crawler-Parallel-master
crawler
23KB
.gitignore
430B
ternaryTree.c
3KB
DFA.c
5KB
Makefile
202B
common.h
2KB
queue.c
976B
bloomfilter.c
4KB
README.md
81B
暂无评论