flume学习总结1

flume官网下载太慢，请从这里下载，次文件是官方网站的1.8版本，也就是支持jdk1.8的，不支持jdk1.7，如果要支持jdk1.7的，请下载我的资源里面也有，flume1.7，

Flume技术开发

flume定制化sink，用于参考，使用了多线程及读取配置文件的技术

Apache Flume Distributed Log Collection for Hadoop.pdf Apache Solr 4 Cookbook.pdf Flume 构建高可用、可扩展的海量

a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = spooldir a1.sources.r1.spoolDir

flume是一个采集数据的工具,当我们用idea或者eclipse进行编程时需要导入flume的依赖jar包,一共98个打包在一起,亲测在编写flume的客户端发送数据给kafka最后消费有效

水槽自定义正则表达式拦截器简单拦截器，它是Flume正则表达式过滤器拦截器的扩展。使用可以指定需要从事件bosy中拉出以发送到Channel/Sink的字段列表添加了一个名为indexSelector

介绍了关于flume的基本应用架构和内部工作机制以及使用业务场景！

思路步骤：1、获取body数据（放到header ：将body里的数据根据类型，写到header）--->2、获取header--->3、向header中添加值---&am

里面由两部分组成 1、flume连接mysql的jar,可用于同步至kafka,数据格式:json格式 2、mysql的jar,flume需要这个