Kafka是由Linkedin公司开发的分布式、分区的、多副本的、多订阅者的日志系统，基于zookeeper协调。它可以被广泛应用于web/nginx日志、访问日志、消息服务等场景。2010年，Linkedin将Kafka贡献给了Apache基金会，并成为顶级开源项目。Kafka的设计目标包括提供以O(1)时间复杂度的消息持久化能力，高吞吐率，支持消息分区与分布式消费，以及同时支持离线数据处理和实时数据处理。此外，Kafka还支持在线水平扩展。