hive调优

参数调优 如何开启map输出阶段压缩 背景:map完产生了很多中间文件,被保存在磁盘上,然后等待reduce通过网络来拉取,如果开启map输出阶段压缩,可以减少Map和Reduce间的数据传输量。 1)开启hive中间传输数据压缩功能 set hive.exec.compress.intermediate=true; 2)开启mapreduce中map输出压缩功能 set mapreduce.map.output.compress=true; 3)开启mapreduce中map输出数据的压缩方式 set mapreduce.map.output.compress.codec= org.apac