PulsarAstraElastic Connect 源码

与Pulsar一起流入Astra和Elasticsearch 该概念证明概述了在Docker中使用Apache Pulsar Sinks创建数据流环境的步骤。 该实现使用Pulsar接收器连接器将多种数据库技术与数据生成器集成在一起,而无需自定义代码。 用例。 Python客户端使用来自国家气象服务API的遥测数据。 此数据应保存到Astra以进行低延迟事务处理,并保存到Elasticsearch进行分析和搜索。 业务需求包括: 与其他数据库技术的集成工作应最小化。 数据流平台应具有可扩展性和成本效益。 主要问题 客户需要低延迟的天气遥测数据(尽可能接近实时)。 这将用于关键天气相关服务,例如航空和海上船只。 DataStax Astra是一个很好的用例。 客户要求他具有运行分析报告和搜索的能力。 Elasticsearch将用于此目的。 为什么要进行数据流传输? 数据流平台简