一种基于FP growth的并行SON算法的实现
单节点运行的传统SON算法能够有效降低CPU和I/O负载,而且算法仅需要对整个事务数据集扫描两次。但是在算法执行的阶段一中发现局部频繁项集时采用的Apriori算法仍然需要对每个分区进行多次扫描。在深入研究SON算法的基础上,根据MapReduce编程模型提出了基于FP-growth的SON算法的并行化实现。实验结果表明,基于FP-growth的并行SON算法不仅降低了传统SON算法的运行时间,并且随着分区数目的增加还能获取比较好的加速比。
用户评论
推荐下载
-
基于Hadoop的FP Growth关联规则并行改进算法
大数据环境下,传统的串行FP-Growth算法在处理海量数据时,占用内存过大、频繁项多,适用于大数据情况的PFP(parallel FP-Growth)算法存在数据量增大无法处理的缺陷。针对这些问题,
14 2020-11-08 -
FP growth算法python实现
FP-growth算法python实现含数据集,FP-growth算法是将数据集存储在一个特定的FP树结构之后挖掘其中的频繁项集,即常在一块出现的元素项的集合FP树。
16 2020-07-19 -
SparkCRF一种基于Spark的并行CRFs算法实现
SparkCRF: 一种基于Spark的并行CRFs算法实现
10 2021-04-08 -
论文研究基于Spark的FP_Growth算法的并行与优化.pdf
PFP_Growth算法是FP_Growth算法在Hadoop平台上基于MapReduce的并行化,该算法在分组过程中没有考虑负载均衡问题,导致各个节点完成任务时间不一致,甚至相差很大,从而降低了算法
38 2019-09-25 -
基于FP_growth方法的Apriori算法
这个是我个人C++实现的基于FP_growth实现的关联规则挖掘的Apriori算法。跑起来速度是相当的快。但是有效Item在2000多的时候,共现Items数就达到了132万,基于2w个条目,平均条
45 2019-05-16 -
FP_GROWTH算法的应用
关于数据挖掘中 FP-GROWTH算法的应用 An Implementation of the FPgrowth Algorithm
45 2018-12-28 -
一种基于Hadoop的并行关联规则算法
一种基于Hadoop的并行关联规则算法
40 2019-08-02 -
基于FP.Growth算法的DDoS检测.pdf
基于FP.Growth算法的DDoS检测.pdf
3 2021-04-17 -
一种基于FPGA的SOM神经网络算法的并行实现
摘 要:分析了SOM神经网络算法在FPGA实现过程中要考虑的2个主要问题:并行性和有限字长效应。通过分析,提出了一种实现该算法的高并行体系结构并给出了该体系结构中关键模块的具体实现电路。根据计算机仿真
49 2019-01-17 -
一种基于矩阵的并行CRC校验算法
针对高速网络通信中高位宽并行数据的实时校验需求,提出了一种可单周期实现的、面向128位并行数据的循环冗余校验算法(Cyclic Redundancy Check,CRC)。该算法首先根据CRC串行编码
8 2021-02-01
暂无评论