基于互信息和余弦相似度的维吾尔文不良文档信息过滤方案
针对网页中的维吾尔文不良文档信息的过滤问题,提出一种基于互信息和余弦相似度的不良文档信息过滤方案。首先,对输入文档进行预处理,过滤掉无用单词。然后,利用文档频率(DF)和互信息(MI)相结合,从文档中提取出高区分度的特征向量。最后,利用TF-IDF方法对特征进行加权,并计算加权特征向量与分类模板中的各类加权特征向量之间的余弦相似度,来分类文档并过滤掉不良文档信息。实验结果表明,该方案能够有效过滤不良维吾尔文文档,正确过滤率达到了83.5%。
用户评论
推荐下载
-
基于Harris角点和最大互信息的多模医学图像配准
介绍了一种基于最大互信息原理的图像配准技术。针对基于最大互信息图像配准的不足,研究了基于角点算子的多模态医学图像配准.
19 2019-06-05 -
两个向量间的互信息Mutual information
Mutualinformation可计算出两列向量之间的互信息,代码内有详细的注释,是信息理论领域常用的函数。
40 2020-05-14 -
互信息计算MI C#实现的完整类
用C#实现的互信息计算完整可用类,主要用于自然语言处理领域。
16 2020-05-15 -
交互信息的动态选择布谷鸟算法
针对布谷鸟搜索算法收敛速度慢、种群多样性低、高维寻优能力弱、开发不均衡等缺点,提出一种交互信息的动态选择布谷鸟算法(II-DSCS).首先,在莱维飞行阶段,分别从种群整体、当代最优、自身个体中抽取鸟巢
7 2020-12-06 -
论文研究优化的互信息特征选择方法.pdf
提出了一种改进的语音增强算法,该算法以基于先验信噪比估计的维纳滤波法为基础。首先通过计算无声段的统计平均得到初始噪声功率谱;其次,计算语音段间带噪语音功率谱,并平滑处理初始噪声功率谱和带噪语音功率谱,
34 2020-02-21 -
两个不相交球的全息互信息
我们通过使用扭曲场的算子乘积展开来研究两个相距不大的球的全息互信息的量子校正。 在较大的分离限度内,全息互信息以半经典级消失,但受到波动的量子校正。 我们表明,量子波动的主要贡献是边界CFT所建议的普
12 2020-07-24 -
二元unit和加扰的条件互信息
诊断二元单一通道中的混沌的一种方法是通过相应的Choi状态的三方信息,对于子系统的某些选择,该信息可简化为负条件互信息(CMI)。 我们从量子信息理论的角度研究此数量,以阐明其在诊断加扰中的作用。 当
7 2020-08-09 -
mine pytorch利用互信息神经估计MINE实现信息瓶颈源码
互信息神经估计 该存储库包含使用相互信息神经估计(MINE)的信息瓶颈(IB)的pytorch实现。 已使用标准基线MLP(如Deep VIB论文中所述进行了比较)。 设置 git clone htt
6 2021-05-10 -
余弦相似度MATLAB代码
衡量两个向量x、y的相关性(夹角的余弦)MATLAB代码,余弦相似度也被⼀些迁移学习研究所使用。
47 2019-05-20 -
余弦相似度算法实现
该算法是用于文本相似的判定,同时也可以判定两个用户的相似性。算法是以C#实现的,封装完毕,如有急要可以留言哦
91 2019-06-04
暂无评论