分布式RSS用于阅读RSS/Atom提要的分布式系统。系统读取提要,解析它们并将新条目保存到数据库中。它还将条目的全部内容拉入数据库。该系统具有水平可扩展性(工作人员和每个工作人员的多个线程)并且能够抵抗部分中断(使用消息代理)。
该项目是为应对组织的挑战而完成的。该项目被选为分布式网页聚合类别的最佳解决方案,并赢得了该类别的挑战。
一般要求
此解决方案需要以下系统:
-
系统逻辑采用JAVA编程语言编写。
-
用于存储提要和条目的MongoDB数据库,版本2.4.9。
-
用于分配工作负载的消息代理,版本5.9.1。
-
项目使用Maven来定义对第三方库的依赖。
所需库列表:
-
Java中的RSS/Atom库。
-
MongoDB的Java驱动程序。
暂无评论