研究论文 基于Hadoop的抄袭检测的源检索方法研究.pdf

随着科学技术的发展和互联网的普及,网络给人们带来便利的同时,也给抄袭剽窃提供了机会,现在抄袭检测已经成为一个重要的研究课题。本文分析了传统抄袭检测系统源检索模块的优缺点,结合分布式系统的特点,提出基于索引分片的源检索体系结构,在大规模数据集上进行抄袭检测研究,以便快速的检测出可疑文档的备选文集。通过实验证明,基于索引分片的源检索结构能够应对大规模数据集的处理要求,有效的提高了源检索阶段的时间性能,同时也保证了抄袭检测系统的可靠性。