多重检验加权融合的短文本相似度计算方法
针对传统的相似度计算方法只考虑文本结构特征或者语义信息导致文本相似度计算质量较低等问题,结合短文本特征稀疏的特性,提出一种多重检验加权融合短文本相似度计算方法。该方法使用编辑距离、考虑词频的语义信息及Word2vec-LSTM模型三种方法计算相似度,对满足任意两种阈值的文本进行加权因子线性融合。通过多重阈值检验,避免了层层检验和无检验方法因一种相似度值过大或过小导致加权相似度值异常问题,通过加权融合计算短文本相似度,使结果更加均匀化和合理化。实验结果表明,多重检验加权融合计算方法相比层层检验和无检验融合方法在准确率上平均提高了16.01%和7.39%,F1值为70.21%,相比传统的相似度
用户评论
推荐下载
-
基于词向量的文本相似函数
基于词向量的文本相似函数。 包含WDS的Java版本的代码; WDS1-1 WDS1-2 WDS2 三个测试实验; 说明:测试文本编码格式统一使用GBK,否则容易乱码。
15 2020-08-17 -
基于向量空间模型的中文文本相似度的研究
在文本聚类中需要衡量中文文本之间的相似性。本文首先讨论了文本相似度的概念和常用计算算法,详细介绍了向量空间模型和算法步骤,采用删除去除词表、近义词合并、修改文件长度3中策略对算法进行了改进。最后借助盘
16 2021-01-31 -
基于语义树的概念语义相似度计算方法研究
《语义树》——基于语义树的概念语义相似度计算方法研究。
43 2019-05-19 -
基于奇异值分解的关系相似度计算方法
讲述各种常用的基于奇异值分解的关系相似度计算方法
20 2019-05-19 -
基于知网的词汇语义相似度计算方法研究
利用知网的义原层次树,考虑树的深度、密度等因素对义原节点权重的影响,得到义原相似度
28 2019-05-19 -
论文研究改进的本体语义相似度计算方法.pdf
概念的语义相似度研究,是知识表示以及信息检索领域中的一个重要内容。通过分析两种传统的语义相似度计算方法,对它们存在的问题进行改进,提出了一种综合的基于本体的概念语义相似度计算方法。该方法结合本体的DA
27 2020-07-16 -
一种文本相似性的度量方法和计算机方法
摘要:本文提出了一种判定两个文本相似性的度量方法,定义了相似度和摘录度,对其意义做了简单的分析;并用动态规划的思想给出了时间复杂度为O(mn)的计算方法。一种文本相似性的度量方法和计算方法。
13 2019-05-05 -
文本相似度计算的工具与技术词林知网和字符向量
文本相似度计算在自然语言处理中发挥着重要作用。词林、知网和字符向量是用于处理文本相似度的常见工具和技术。词林是一个词语分类系统,可以根据词语的语义相似度进行排序和匹配。知网是一个中文知识图谱,其中包含
7 2023-07-16 -
一种XML文档结构相似度计算方法
XML文档结构相似度计算方法,计算机工程系
16 2019-05-05 -
汉语句子相似度计算方法比对之研究
句子相似检索,在自然语言处理领域具有非常广泛的应用背景。信息过滤技术中的句子模糊匹配,基于实例的机器翻译的源语言检索。
9 2020-08-22
暂无评论