论文研究 基于任务合并的粮食大数据处理数据清理方法的改进

greatefanli 8 0 PDF 2020-06-13 18:06:05

数据质量对谷物大数据的应用产生了重要影响,因此数据清理是一项必要而重要的工作。在MapReduce框架中,并行技术通常用于以高可伸缩性模式执行数据清理,但是由于缺乏有效的设计,因此在数据清理过程中存在大量计算冗余,从而导致性能降低。在这项研究中,我们发现某些任务通常在相同的输入文件上执行多次,或者在数据清理过程中需要相同的操作结果。针对此问题,我们提出了一种基于任务合并的新优化技术。通过在同一输入文件上合并简单或冗余计算,可以大大减少MapReduce中循环计算的数量。实验表明,通过这种方式,可以显着减少整个系统的运行时间,这证明了数据清理过程得到了优化。在本文中,我们优化了数据清

论文研究  基于任务合并的粮食大数据处理数据清理方法的改进

用户评论
请输入评论内容
评分:
暂无评论