用PHP和Shell写Hadoop的MapReduce程序
使得任何支持标准IO (stdin, stdout)的可执行程序都能成为hadoop的mapper或者 reducer。例如:复制代码 代码如下:hadoop jar hadoop-streaming.jar -input SOME_INPUT_DIR_OR_FILE -output SOME_OUTPUT_DIR -mapper /bin/cat -reducer /usr/bin/wc 在这个例子里,就使用了Unix/Linux自带的cat和wc工具来作为mapper / reducer,是不是很神奇? 如果你习惯了使用一些动态语言,用动态语言来写mapreduce吧,跟之前的编程没有任何
用户评论
推荐下载
-
Hadoop MapReduce多输出详细介绍
主要介绍了Hadoop MapReduce多输出详细介绍的相关资料,需要的朋友可以参考下
18 2020-10-28 -
Hadoop源码包含mapred及mapreduce
Hadoop源码包含mapred
18 2020-05-24 -
Hadoop MapReduce Cook book.pdf
HadoopMapReduceCookbookhelpsreaderslearntoprocesslargeandcomplexdatasets.Thebookstartsinasimplemanne
33 2019-09-24 -
hadoop源码分析_mapreduce部分.doc
hadoop源码分析-mapreduce部分.doc
47 2018-12-07 -
Hadoop源码解析MapReduce之InputFormat
结合Hadoop源码,详细讲解了MapReduce开发中的InputFormat,很详细。
27 2019-01-23 -
大数据技术之Hadoop MapReduce
MapReduce
8 2020-08-29 -
Hadoop之MapReduce思维导图
Hadoop之MapReduce思维导图
22 2020-08-20 -
Hadoop源代码分析MapReduce概论
源代码分析、Hadoop的MapReduce概论
25 2019-09-15 -
Hadoop Mapreduce Cookbook英文版
英文版电子书:Hadoop Mapreduce Cookbook
11 2021-05-03 -
03Hadoop MapReduce.docx
尚硅谷大数据技术之Hadoop-Mapreduce
11 2021-04-18
暂无评论