ndr2-track-scraper
是一个演示项目,展示如何使用小组件抓取网页数据,避免使用冗长代码。包含以下组件:
- UrlGenerator:根据模式生成网址。
- PageDownloader:下载页面并调用回调处理每个页面。
- TracksParser:解析 HTML 文档提取曲目信息,并为每个曲目调用回调。
- TracksService:将数据保存到数据库。
示例目录包含两个基本的 map-reduce 函数,用于分析最流行的艺术家和标题。
已知问题:应用程序在完成后未退出,原因是 mongoose 与 MongoDB 之间存在未关闭的连接。
暂无评论