本文知识点介绍来自斯坦福大学CS224N课程lecture6语言模型部分 语言模型 语言模型可以预测一个序列接下来会出现什么词。即给定一个单词序列,语言模型计算出下一个单词是词汇表中各个词的概率分布。 还有一种理解是语言模型可以计算一个句子出现的概率,计算公式如下(条件概率): n-gram语言模型: 含义:通过前(n-1)个词去预测某个单词。 n-gram有一个基本的假设:假设某个词的出现仅取决于它前面的n-1个单词。根据条件概率公式,某个词的出现概率计算公式为: 计算上图n-gram和(n-1)-gram的比例是通过计算他们在大型语料库中出现的次数的比例: 举个例子:As the p