利用mapreduce实现文件合并去重代码,需要先用eclipse编译并导出jar包,上传hdfs文件夹,再hdfs建立input文件夹,里面放进要合并的文件