Spark Streaming 流式日志过滤的实验资源

Spark零基础思维导图(内含spark-core，spark-streaming,spark-sql)

自用日志文件过滤软件，写入路径即可用，代码结构清晰、易读。

本系列主要描述Spark Streaming的运行流程,然后对每个流程的源码分别进行解析 之前总听同事说Spark源码有多么棒,咱也不知道,就是疯狂点头。今天也来撸一下Spark源码。 对Spark的

非常适合做实时大数据开发的同学进行项目开发

高价值课程，难得，速下！ 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

操作步骤: 一.数据采集:视频网站访问日志(编辑python脚本) 1.Python日志产生器开发URL ,ip信息,状态码,时间等 2.python日志产生器测试并将日志写入到文件中 3.通过定时调

spark程序是使用一个spark应用实例一次性对一批历史数据进行处理，sparkstreaming是将持续不断输入的数据流转换成多个batch分片，使用一批spark应用实例进行处理。

使用spark集成flume，由于flume默认只支持pull消息的方式，不过它可以自定义消息拉取方式，现要使用poll方式，可以使用spark-streaming-flume-sink_2.11-2

运行saprk-streaming所需的jar包,spark-streaming-kafka-assembly_2.10-1.6.3.jar

pyspark里连接kafka数据源所需的jar文件,放到python所在的site-package下属于pyspark的jars目录下