论文研究 一种面向HDFS的数据随机访问方法.pdf

为了简化文件系统的实现，支持超大规模数据集的流式访问，HDFS牺牲了文件的随机访问功能，而在实际场景中很多应用都需要对文件进行随机访问。在深入分析HDFS数据读写原理的基础上，提出了一种面向HDFS的数据随机访问方法。其设计思想是为Datanode添加本地数据访问接口，用户程序可以读取Datanode上存放的数据块文件以及把数据写入到Datanode上的数据块存放目录。文件的首副本由用户程序直接产生，其余副本在首副本写入完成之后采用数据复制的方式生成。此外，为数据块添加了权限管理功能，Datanode上的文件副本属于用户所有。若名字空间中文件权限发生变化，文件对应的数据块权限也会改变。测试表明