分布式RSS用于阅读RSS/Atom提要的分布式系统。系统读取提要,解析它们并将新条目保存到数据库中。它还将条目的全部内容拉入数据库。该系统具有水平可扩展性(工作人员和每个工作人员的多个线程)并且能够抵抗部分中断(使用消息代理)。

该项目是为应对组织的挑战而完成的。该项目被选为分布式网页聚合类别的最佳解决方案,并赢得了该类别的挑战。

一般要求

此解决方案需要以下系统:

  • 系统逻辑采用JAVA编程语言编写。

  • 用于存储提要和条目的MongoDB数据库,版本2.4.9。

  • 用于分配工作负载的消息代理,版本5.9.1。

  • 项目使用Maven来定义对第三方库的依赖。

所需库列表:

  • Java中的RSS/Atom库。

  • MongoDB的Java驱动程序。