基于Spark的改进关联规则算法研究
针对关联规则Apriori算法在信息爆炸时代面对海量数据时,其计算周期大、算法效率低等问题,将数据以特定的数据结构进行存储,降低数据遍历次数;在连接操作前进行剪枝操作,并且改变剪枝操作的判定条件;同时将改进算法IApriori与基于内存的大数据并行计算处理框架Apache Spark相结合,提出了一种基于Spark的Apriori改进算法(Spark+IAprior)。实验结果表明,Spark+IApriori算法在集群伸缩性和加速比方面都优于Apriori算法。
用户评论
推荐下载
-
关联规则FP Growth算法
java编写的,对于研究关联规则FP-Growth算法很有帮助。
9 2020-12-05 -
关联规则算法实现java
1、基于模拟数据集,实现Apriori算法以获得频繁项集。2、基于上一步得到的频繁项集,编写算法得到关联规则。3.有文档,源代码在文档中,与jar包
36 2019-01-12 -
数据挖掘中关联规则算法的研究及应用
关联规则数据挖掘技术的分析与研究。在介绍关联规则基本概念的基础上,对关联规则的Apriori算法进行了详细地分析和研究,并就目前针对提高该算法效率的各种优化技术也进行了详细地描述,在此基础上提出了基于
49 2019-08-02 -
关联规则挖掘算法apriori算法的实现
关联规则挖掘算法apriori算法的实现
31 2019-05-13 -
论文研究基于MapReduce计算模型的并行关联规则挖掘算法研究综述.pdf
随着数据的爆炸式增长,传统的算法已不能适应大数据挖掘的需要,需要分布式、并行的关联规则挖掘算法来解决上述问题。MapReduce是一种流行的分布式并行计算模型,因其使用简单、伸缩性好、自动负载均衡和自
33 2019-09-24 -
基于关联规则的数据挖掘
基于关联规则的数据挖掘 同义词识别 近义词挖掘
66 2018-12-15 -
一种基于Hadoop的并行关联规则算法
一种基于Hadoop的并行关联规则算法
34 2019-08-02 -
基于项目序列集操作的关联规则挖掘算法
一种很不错的Apriori改进算法,并从时间和空间效率上对算法进行了分析。
27 2019-06-04 -
一种基于编码的关联规则挖掘算法
关联规则挖掘算法Apriori 算法在挖掘频繁模式时需要产生大量的候选项集,多次扫描数据库,时空复杂度过高。 针对该算法的局限性,提出了一种通过对项编码来减少扫描数据库次数并通过删除项来减少候选项集的
24 2019-01-17 -
基于事务相似矩阵的关联规则挖掘算法
通过对Ap riori算法挖掘过程的深入分析, 提出一种改进的关联规则挖掘算法———基于事 务相似矩阵的关联规则挖掘算法(ARBSM) : 在压缩事务布尔矩阵的基础上构建一个事务相似矩 阵, 直接查找
24 2019-01-08
暂无评论