基于Storm的在线聚集算法研究与实现
在信息时代的大背景下,对爆炸式增长数据的处理无疑是社会发展的一大障碍,而对数据的聚集操作又是最经常进行的数据操作之一。传统式的聚集操作对于越来越庞大的数据规模越显得捉襟见肘,数据分析的成本不断上升,并逐渐的超出了人们的可接受范围。随着信息产业的不断发展,日后的数据规模还会不断的扩大,使得如何提高数据分析效率显得越来越重要。将数据处理最常用的聚集操作进行优化可大幅减少分析数据的成本。对数据查询结果进行估计和对聚集操作的并行化处理是解决问题的一种途径。根据中心极限定理将估计结果近似认为符合正态分布,根据统计原理对聚集结果进行估计并得出其置信区间,通过在并行流式计算平台Storm上的实现为对聚集操作
用户评论
推荐下载
-
论文研究基于Storm的Kmeans算法实现.pdf
基于Storm的K-means算法实现,张少峰,吴斌,针对现有平台处理海量数据实时响应能力普遍较差的问题,引入了Storm分布式实时计算平台。Storm在实时分析,在线机器学习,持续计算��
36 2020-01-21 -
Storm实现的应用模型研究
Storm实现的应用模型研究,是关于大数据的文献资料。
31 2019-01-17 -
论文研究基于边聚集系数的社区结构发现算法.pdf
将超图模型以及基于此的聚类算法应用到社区结构发现的领域。对于简单图的社区结构发现,引入边聚集系数的概念,提出了基于边聚集系数的社区发现算法。将安然邮件数据集作为测试数据集,通过算法对比分析,证明该算法
16 2020-07-21 -
论文研究基于MapReduce的数据聚集运算算法.pdf
基于MapReduce的数据聚集运算算法,冷芳玲,鲍玉斌,为解决数据仓库中海量数据的处理效率问题,可以采用数据聚集预计算的方法,但是针对海量级别数据的聚集运算非常耗费计算资源,需
7 2021-04-20 -
基于FPGA的祖冲之算法研究与实现
基于FPGA的祖冲之算法研究与实现 内容很详细 欢迎下载
30 2019-01-12 -
论文研究MSOLA基于多维分层采样的大数据在线聚集技术.pdf
在线聚集通过统计计算估计查询结果,能够在查询完成前给用户反馈,在大数据分析领域具有重要意义。现有研究工作采用统一随机采样策略,当查询出现小分组或低选择率时,导致估计结果不准确及收敛速度缓慢。针对这一问
8 2020-04-25 -
基于Storm的分布式在线推荐系统
基于Storm的分布式在线推荐系统
7 2021-04-14 -
聚集索引与非聚集索引的区别
The difference between a clustered index and a non-clustered index
58 2019-06-27 -
基于聚集密度的约束多目标进化算法
对基于群体聚类的约束多目标进化算法进行了改进,引入了聚集密度以度量群体中个体间的关系,保持种群的多样性。其基本思想为:首先将初始群体按多判据聚类方法分为适应度值不同的四类,然后计算类内群体中个体的聚集
18 2020-07-19 -
基于对象的视频分割算法研究与实现
通过对连续3帧图像进行二次差分,自适应估计差分图像的噪声特征参数并滤除噪声,结合边界信息进行数学形态学运算,最终提取运动目标。实验结果证明,该方法能够从背景不变的图像序列中较好的提取出视频运动对象,具
27 2019-04-08
暂无评论