【Spark2运算效率】【Spark2运算效率】第五节 影响生产集群运算效率的原因之小文件前言问题概述案例结语跳转 前言 关于小文件的治理方案颇多,可以回归到hdfs底层的block层面看待治理问题。,首先可以通过查询命令(hadoop dfs -count 路径)来查看路径目录下文件夹数目、文件数目及文件总大小(博主曾分享过相关的自动化脚本,有需要的可以去看看,很容易上手【小工具】 hdfs路径信息获取程序),具体可从图3.4的显示效果中查看。也可以采用fsck方法查看具体block数量信息,用法为:hdfs fsck 路径 | grep Total。查看路径下小文件过多以后,可以通过区分表