一种Hadoop小文件存储和读取的方法.
HDFS(HadoopDistributedFileSystem)凭借其高容错、可伸缩和廉价存储的优点,在当前面向云计算的应用场景中得到了广泛应用。然而,HDFS设计的初衷是存储超大文件,对于海量小文件,由于NameNode内存开销等问题,其存储和读取性能并不理想。提出一种基于小文件合并的方法HIFM(HierarchyIndexFileMerging),综合考虑小文件之间的相关性和数据的目录结构,来辅助将小文件合并成大文件,并生成分层索引。采用集中存储和分布式存储相结合的方式管理索引文件,并实现索引文件预加载。此外,HIFM采用数据预取的机制,提高顺序访问小文件的效率。实验结果表明,HIFM方法能够有效提高小文件存储和读取效率
用户评论
推荐下载
-
论文研究Hadoop小文件存储方法改进研究.pdf
Hadoop小文件存储方法改进研究,陈洋,黄岚,Hadoop是一个开源的分布式计算框架。运用Hadoop所提供的分布式文件系统(Hadoopdistributedfilesystem,HDFS)处理农
26 2019-09-27 -
Python按行读取文件的实现方法小文件和大文件读取
本文实例讲述了Python按行读取文件的实现方法。分享给大家供大家参考,具体如下: 小文件: #coding=utf-8 #author: walker #date: 2013-12-30 #func
29 2020-12-31 -
SQL_DFS一种基于HDFS的海量小文件存储系统
针对Hadoop 分布式文件系统(Hadoop distributed file system,HDFS)进行小文件存储时NameNode 内存占用率高的问题,通过分析HDFS 基础架构,提出了基于元
32 2019-01-15 -
hadoop处理海小文件的改进方法
hadoop处理海小文件的一种改进方法的文章,可供参考。
7 2021-04-21 -
kv和小文件存储分享
kv和小文件存储分享
20 2019-02-24 -
论文研究一种面向HDFS中海量小文件的存取优化方法.pdf
为了解决HDFS(Hadoopdistributedfilesystem)在存储海量小文件时遇到的NameNode内存瓶颈等问题,提高HDFS处理海量小文件的效率,提出一种基于小文件合并与预取的存取优
53 2019-09-06 -
论文研究一种新的文件密钥存储方法.pdf
一种新的文件密钥存储方法,杨建新,,针对现有的文件密钥存储方法存在扩展性不足的缺陷,提出一种扩展性良好的文件密钥存储方法,该方法通过扩展文件属性实现文件密钥
29 2019-09-22 -
一种基于区块链的安全文件存储和共享方法.zip
本文属于信息检索及数据库结构技术领域,公开了一种基于区块链的安全文件存储和共享方法,利用区块链技术实现文件的安全存储与共享;用户对文件进行加密上传处理,获取文件指针,在记账节点将制定的访问策略与指针等
10 2020-10-16 -
一种存储两种打印诗句的方法
可以横排打印,也可以竖排打印 #include #include #define N 4 //诗的行数 #define M 5 //每行诗的字数
14 2020-10-19 -
segy文件的读取和存储
能准确读取segy文件,并从中提取出裸数据、文件头、道头等信息,并可以存储成其他文件格式
85 2018-12-09
暂无评论