最近几天一直在看Hadoop相关的书籍,目前稍微有点感觉,自己就仿照着WordCount程序自己编写了一个统计关联商品。超市销售清单简化为如下格式:一行表示一个清单,每个商品采用 "," 分割,如下图所示:采用hadoop中的mapreduce对该需求进行计算。reduce函数分别对和商品A相关的商品进行分组统计,即分别求value中的各个商品出现的次数,输出结果为key为商品A|商品B,value为该组合出现的次数。将测试数据也上传到HDFS分布式文件系统中。命令运行截图如下图所示:运行结束后查看相应的HDFS文件系统,如下图所示:到此一个完整的mapreduce程序就完成了,关于hadoop的学习,自己还将继续~感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!
暂无评论