数据管道项目 (我正在维护该项目,并添加有关Hadoop分布式模式,在云上部署Hadoop,Spark高性能,Spark流应用程序演示,Spark分布式集群等的更多演示。请给我一些支持。) 架构师大数据应用 数据输入:Apache Sqoop,Apache Flume Hadoop 工具:猪,蜂巢, Hadoop流 处理HTTP服务器日志脚本 流MapReduce作业 Linux Shell实用程序作为Mapper和Reducer Hadoop自定义指标 火花 建筑 集群经理:YARN,Mesos和Kuberneste MapReduce 分布式流处理 分布式系统中的状态流处理 数据源