论文研究基于压缩字对齐位图的天文海量数据实时索引.pdf
澄江一米新真空大型天文望远镜(NVST)当前每天最大能产生2TB,约十多万条的观测数据。由于这些数据量巨大并具有非结构化特性,使用离线构建索引会带来巨大时间开销,传统的关系型数据库难以满足快速索引和检索需求。针对这些问题,结合数据采集流程,提出了使用基于压缩的字对齐位图索引算法来在线实时构建索引。这种方式不仅克服了离线构建索引方式时,文件访问、FITS头读取和解析FITS头等操作带来的大量额外时间消耗问题,而且有助于解决海量太阳观测数据的高效检索难题。通过实验证明了在线实时构建索引方式能够极大地降低时间开销,也表明了该方式在天文海量数据索引和检索应用中的有效性和可行性。
用户评论
推荐下载
-
基于ARM技术的蓝牙数据实时采集系统设计
随着计算机技术的发展,尤其是无线技术广泛深入到人们生活的各个方面,使人们的生活发生了深刻的变化。就工业数据采集、测量领域来讲,由于测量种类多、数据量大,且存在许多条件恶劣、人们不易到达或不能时刻停留的
13 2020-10-28 -
串口数据实时采集工具
该软件可实时采集指定串口数据,windows xp 和windows7下皆可运行。
40 2018-12-09 -
数据实时显示与滚动
VB代码,能实时动态显示数据,在超出坐标时滚动显示
39 2019-05-16 -
java数据实时同步系统
java数据实时同步系统,把远程数据库数据实时同步到本地数据库
33 2019-05-22 -
高速串口数据实时采集
高速串口数据实时采集的解决方案,是很好的描述串口通信的文章
38 2019-08-04 -
vc串口数据实时显示
串口数据采集实时显示程序,很好用! 1、串口控件使用说明 2、串口数据的获取 3、整数位与小数位的处理 4、画图原理 5、查看以前的数据 6、数据保存方式
14 2020-10-30 -
VB数据实时曲线绘制
用VB 绘制采样来的实时曲线。其中这个显示界面中没有背景图。
45 2018-12-29 -
数控机床的现场数据实时采集和监视系统的研究.pdf
数控机床的现场数据实时采集和监视系统的研究pdf,数控机床的现场数据实时采集和监视系统的研究
8 2020-08-11 -
论文研究基于MATLAB的图像压缩技术的研究.pdf
基于MATLAB的图像压缩技术的研究,于宁宁,赵宗平,为了提高图像的传输和存储效率,通常希望一幅图像所占的内存要尽可能小。但没有经过压缩的图像数据量一般较大,含有冗余成分,对
25 2020-07-19 -
论文研究基于MapReduce模型的分布式天文交叉证认.pdf
交叉证认是实现多波段数据融合的关键技术,目前还缺乏对其分布式算法的研究。快速增长的数据规模使该问题必须要依赖分布式并行计算技术解决。提出了一种基于MapReduce分布式模型的新方法,根据Map-Re
36 2019-09-27
暂无评论