apache-flume1.6的包,新的flume1.6版本增加的kafka channel,对于数据直接写入kafka集群有很大的性能和安全。 欢迎下载使用!
flume是分布式的,可靠的,用于从不同的来源有效收集 聚集 和 移动 大量的日志数据用以集中式的数据存储的系统。 是apache的一个顶级项目
Flume思维导图.png
flume官网下载太慢,请从这里下载,次文件是官方网站的1.8版本,也就是支持jdk1.8的,不支持jdk1.7,如果要支持jdk1.7的,请下载我的资源里面也有,flume1.7,
Flume学习文档。。。。。。。。。。。。。。。。。。。。。。。。
Flume技术开发
flume定制化sink,用于参考,使用了多线程及读取配置文件的技术
a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = spooldir a1.sources.r1.spoolDir
Flume学习资料,内容丰富,有各种场景的代码实例
flume是一个采集数据的工具,当我们用idea或者eclipse进行编程时需要导入flume的依赖jar包,一共98个打包在一起,亲测在编写flume的客户端发送数据给kafka最后消费有效
