SQL-DFS:一种基于HDFS的海量小文件存储系统.pdf
针对Hadoop分布式文件系统(Hadoopdistributedfilesystem,HDFS)进行小文件存储时NameNode内存占用率高的问题,通过分析HDFS基础架构,提出了基于元数据存储集群的SQL-DFS文件系统.通过在NameNode中加入小文件处理模块实现了小文件元数据由NameNode内存到元数据存储集群的迁移,借助关系数据库集群实现了小文件元数据的快速读写,并对小文件读取过程进行化,减少了文件客户端对NameNode的请求次数;通过将部分DataNode文件块的校验工作交由元数据存储集群完成,进一步降低了NameNode节点的负载压力.最终通过搭建HDFS和SQL-DFS实验平台,对
用户评论
推荐下载
-
一种基于北斗的卫星通信系统.pdf
一种基于北斗的卫星通信系统,本文介绍一种基于北斗的卫星移动通信实验系统,这是一个利用我国北斗卫星的冗余资源的支持语音和低速数据的小容量系统
5 2020-07-16 -
论文研究一种基于索引的海量路测数据处理新方式.pdf
针对Chord模型在节点加入或离开时产生大量消息,不适用于动态网络的问题,提出一种基于分布式哈希表(DistributeHashTable,DHT)的自适应Chord模型,即Self-adaptive
16 2020-04-15 -
面向海量数据的云存储系统实现与应用研究
最新的优秀硕士研究生毕业论文,从知网上下的完整版,kdf格式
16 2019-05-22 -
基于HDFS的云存储服务系统研究
基于HDFS的云存储服务系统研究论文,详细概括了HDFS的特点及使用方法,以及前瞻性研究。
29 2019-09-10 -
一种基于
提出一种基于ε-支配关系的多目标自组织迁移算法. 首先对基于混合迁移行为的自组织迁移算法进行改进, 将全面学习的思想引入个体的迁移过程中, 使得个体的每个分量都可以向其他个体学习, 从而进行充分的信息
9 2021-01-16 -
论文研究一种基于.pdf
将发布的数据用于微观数据表包含的敏感属性分析,同时保持个人隐私,是一个越来越重要的问题。当前,k-匿名模型用于保护隐私数据公布,然而当以身份公开为重点时,k-匿名模型在某种程度上并不能保护属性公开。基
30 2019-08-17 -
论文研究一种基于新的特征选择的海量网络文本挖掘算法研究.pdf
为了提高文本自动分类准确率,提出一种改进的蜂群优化神经网络的选择特征的文本数据挖掘算法。该算法将文本特征选择转换成一个多目标优化问题,以特征维数最少、分类正确率最高为选择标准,采用蚁群算法找到最优特征
7 2021-04-18 -
一种基于RAMFS的自恢复文件系统设计
一种基于RAMFS的自恢复文件系统设计论文:主要介绍了基于RAMFS自恢复文件系统的实现方法
21 2019-07-27 -
一种基于NoSQL的地图瓦片数据存储技术
一种基于NoSQL的地图瓦片数据存储技术
17 2019-06-05 -
HDFS的透明压缩存储.pdf
HDFS的透明压缩存储.pdf
36 2019-05-16
暂无评论