大数据位图索引压缩算法研究
随着Internet应用程序的日益普及和移动Internet的广泛使用,过去二十年来Internet流量一直保持快速增长。用于数据包或流记录的Internet流量归档系统(ITAS)已越来越广泛地用于网络监视,网络故障排除以及用户行为和体验分析。在ITAS的三项关键技术中,我们重点研究位图索引压缩算法,并在本文中进行了详细的调查。当前最新的位图索引编码方案包括:BBC,WAH,PLWAH,EWAH,PWAH,CONCISE,COMPAX,VLC,DF-WAH和VAL-WAH。基于分段,分块,合并压缩和近乎相同(NI)功能的差异,我们对最新的位图索引压缩算法进行了彻底的分类。我们还提出了一些新的位图索引编码算法,例如SECOMPAX,ICX,MASC和PLWAH +,并给出了其编码算法的状态图。然后,我们使用来自CAIDA的真实Internet跟踪评估它们的CPU和GPU实现。最后,我们总结并讨论了位图索引压缩算法的未来方向。除了在网络安全和网络取证中的应用之外,具有更快的按位逻辑运算和减少的搜索空间的位图索引压缩还广泛用于基因组数据,地理信息系统,图形数据库,图像检索,物联网等的分析中
用户评论
推荐下载
-
列存储数据库中压缩位图索引技术
为提高压缩码的利用率,提出一种适用于列存储数据库的压缩位图索引技术。定义反转、合并等操作,将所有计算的输入值与输出值格式化为位向量形式。通过活跃度衡量索引中位向量的复杂度,并对压缩位向量进行直接计算,
11 2021-04-19 -
论文研究基于压缩字对齐位图的天文海量数据实时索引.pdf
澄江一米新真空大型天文望远镜(NVST)当前每天最大能产生2TB,约十多万条的观测数据。由于这些数据量巨大并具有非结构化特性,使用离线构建索引会带来巨大时间开销,传统的关系型数据库难以满足快速索引和检
21 2020-04-12 -
oracle位图索引
oracle位图索引,讲解oracle的bitmap索引。
34 2019-07-28 -
大数据应基于大数据算法研究.ppt
大数据应基于大数据算法研究.ppt
7 2020-12-15 -
论文研究位图连接索引服务机制研究.pdf
位图连接索引是数据仓库中一种有效的优化表间连接操作性能的索引机制。在大内存分析处理应用场景下,位图连接索引不仅需要权衡索引的内存和CPU开销,还需要进一步考虑处理器平台所带来的性能收益和数据访问延迟。
18 2020-06-19 -
位图索引简单实验
比较B*树索引和位图索引,位图索引更加适合重复值较大的值。
46 2018-12-28 -
headwater:位图索引原语
源头-分布式位图索引原语 注意:该项目目前作为概念证明存在。虽然我信任索引器,但仍有大量性能和可用性问题需要解决。从好的方面来说,我认为有很多唾手可得的成果。它代表了我离开计算机所需的几个hackda
0 2024-09-07 -
论文研究基于位图索引和B树的BLAST改进算法.pdf
由于半结构文档如XML越来越广泛的应用,在数据库和信息检索领域,对半结构XML数据相似度的研究也变得尤为重要。给定XML文档集D和用户查询q,XML检索即是从D中查找出符合q的XML文档。为了有效地进
27 2020-02-22 -
论文研究编码单位可变的倒排索引压缩算法研究.pdf
倒排索引是大多数大型文本搜索系统的核心数据结构,索引压缩可以有效地减少倒排索引的空间占用,提升检索效率。针对倒排索引压缩算法中的字节对齐编码进行研究,对于其压缩率不够优秀的问题,提出了分区可变单位编码
14 2020-07-17 -
大数据算法
大数据算法
26 2019-02-25
暂无评论