mapreduce.zip
此代码是ETL项目中数据清洗的具体代码实现,实现了特定字段的数据抽取,以及把text文本转化为avro文件、转化为orc文件,为之后的导入hive表做准备
用户评论
推荐下载
-
PageRank MapReduce:在Hadoop上运行的MapReduce程序
PageRank是一种衡量网页重要性的算法,最初由谷歌公司发明,用于提高搜索引擎的搜索结果质量。MapReduce是一种分布式计算模型,由Google提出,主要用于处理和生成大规模数据集。在Hadoo
1 2024-08-08 -
udacity hadoop mapreduce Hadoop MapReduce项目作业答案详解
《Udacity Hadoop MapReduce课程最终项目作业答案解析》在大数据处理领域,Hadoop MapReduce 是一个不可或缺的工具,允许我们处理和存储海量数据。Udacity提供的H
0 2024-10-26 -
C的MapReduce框架MR4C.zip
MR4C 是 Google 开发的 C 的 MapReduce 框架,你可以在 Hadoop 架构中执行本地代码。依赖:tested with Ubuntu 12.04 and CentOS 6.5t
8 2020-07-17 -
03Hadoop MapReduce与Hadoop YARN.zip
03Hadoop MapReduce与Hadoop YARN.zip
6 2023-01-13 -
hadoop mapreduce_矩阵乘法mapreduce的实现代码
最近在研究hadoop与mapReduce,网上教程只有个wordcount程序示范,太简单,故写了个相对复杂点的涉及到多个文件之间同时运算的矩阵乘法的代码用于实验与测试,上传供大家学习与参考。调用方
44 2019-04-29 -
MapReduce详细流程
里边就一张图,显示了MapReduce的详细流程,还算是比较实用。
27 2019-02-21 -
MapReduce实现join连接
简单的在MapReduce中实现两个表的join连接
37 2019-02-22 -
mapreduce方式入库hbasehivehdfs
mapreduce方式入库hbase hive hdfs,速度很快,里面详细讲述了代码的编写过程,值得下载
37 2019-02-22 -
利用micemeat实现mapreduce
最近一直在学coursera上面web intelligence and big data这门课,上周五印度老师布置了一个家庭作业,要求写一个mapreduce程序,用python来实现。 具体描述如
22 2019-03-03 -
hadoop_mapreduce_demo
统计文件中每个单词数量
16 2019-03-04
暂无评论