Hadoop各组件详解(HDFS篇)

一、Hadoop三大组件 1.HDFS 分布式文件存储系统 2.MapReduce 分布式离线计算框架 ​3.Yarn Hadoop资源调度器 1.HDFS HDFS的设计特点是: 1、大数据文件,非常适合上T级别的大文件或者一堆大数据文件的存储,如果文件只有几个G甚至更小就没啥意思了 2、文件分块存储,HDFS会将一个完整的大文件平均分块存储到不同计算器上, 它的意义在于读取文件时可以同时从多个主机取不同区块的文件,多主机读取比单主机读取效率要高得多得都。 3、流式数据访问,一次写入多次读写,这种模式跟传统文件不同, 它不支持动态改变文件内容,而是要求让文件一次写入就不做变化,