ndr2-track-scraper 是一个演示项目,展示如何使用小组件抓取网页数据,避免使用冗长代码。包含以下组件:

  • UrlGenerator:根据模式生成网址。
  • PageDownloader:下载页面并调用回调处理每个页面。
  • TracksParser:解析 HTML 文档提取曲目信息,并为每个曲目调用回调。
  • TracksService:将数据保存到数据库。
    示例目录包含两个基本的 map-reduce 函数,用于分析最流行的艺术家和标题。
    已知问题:应用程序在完成后未退出,原因是 mongooseMongoDB 之间存在未关闭的连接。