大数据技术之Flume
大数据技术之Flume 第 1 章 Flume 概述 1.1 Flume 定义 Flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传 输的系统。Flume 基于流式架构,灵活简单。 1.2 Flume 基础架构 Flume 组成架构如图所示: 下面我们来详细介绍一下 Flume 架构中的组件: 1.2.1 Agent Agent 是一个 JVM 进程,它以事件的形式将数据从源头送至目的。 Agent 主要有 3 个部分组成,Source、Channel、Sink。 1.2.2 Source Source 是负责接收数据到 Flume Agent
用户评论
推荐下载
-
大数据技术之图解Spark原理及实践.pdf
大数据技术之图解Spark原理及实践,
18 2020-08-21 -
尚硅谷大数据技术之Hadoop HDFS.doc
随着数据量越来越大,在一个操作系统管辖的范围内存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS只是分布
27 2019-09-25 -
大数据技术之Hadoop HDFS文件系统.doc
大数据技术之hadoop,详细讲解hdfs系统,理解分布式存储
30 2019-10-05 -
大数据之hadoopspart全套全技术栈视频课程
大数据之hadoop,spart全套全技术栈视频课程,包含spark,hadoop,storm,kafka,mllib等组件的安装,编程等,依次从基础,进阶直到实际实践。
24 2019-01-14 -
01_大数据技术之Spark基础解析.pdf
在我博客中的三个基础章节 第 1 章 Spark 概述 第 2 章 Spark 第 3 章 案例 实操 从Spark入门到Spark的第一个基础案例
12 2020-08-20 -
大数据技术之HBase的面试题.zip
大数据hbae中相关的面试题.
10 2021-01-21 -
大数据预处理之数据消减
我们都知道对大规模数据进行复杂的数据分析通常需要耗费大量的时间,这时就需要我们的数据消减技术了。 数据消减技术的主要目的就是从原有巨大数据集中获得一个精简的数据集,并使这一精简数据集保持原有数据集的完
12 2021-01-15 -
大数据预处理之数据集成
数据处理常常涉及数据集成操作,即将来自多个数据源的数据,如数据库、数据立方、普通文件等,结合在一起并形成一个统一数据集合,以便为数据处理工作的顺利完成提供完整的数据基础。 在数据集成过程中,需要考虑解
18 2021-01-09 -
大数据预处理之数据转换
数据转换就是将数据进行转换或归并,从而构成一个适合数据处理的描述形式。数据转换包含以下处理内容。 1)平滑处理 帮助除去数据中的噪声,主要技术方法有 Bin 方法、聚类方法和回归方法。 2)合计处理
15 2021-01-16 -
大数据预处理之数据清洗
现实世界的数据常常是不完全的、有噪声的、不一致的。数据清洗过程包括遗漏数据处理,噪声数据处理,以及不一致数据处理。本节介绍数据清洗的主要处理方法。 遗漏数据处理 假设在分析一个商场销售数据时,发现有多
31 2021-01-17
暂无评论