nodejs 爬虫框架 哔哩搜索 v1.0
哔哩搜索-百度网盘搜索引擎是一个以node.js进行开发的百度云分享爬虫项目。同时也是一个简单高效的nodejs爬虫模型。github上有好几个这样的开源项目,但是都只提供了爬虫部分,这个项目在爬虫的基础上还增加了保存数据,建立elasticsearch索引的模块,可以用在实际生产环境中,不过web模块还是需要自己开发。安装:安装node.js和pm2,node用来运行爬虫程序和索引程序,pm2用来管理node任务安装mysql和mongodb,mysql用来保存爬虫数据,mongodb用来保存最终的百度云分享数据,这些数据是json格式的,用mongodb保存更方便。git clone ht
文件列表
yunshare_v1.0.zip
(预估有个76文件)
yunshare-master
.gitignore
607B
README.md
3KB
.vscode
launch.json
1012B
process.json
299B
package.json
1KB
dist
parser.js
832B
worker
暂无评论