1.语言模型 语言模型是自然语言处理的重要技术。自然语言处理中最常见的数据是文本数据。我们可以把一段自然语言文本看做一段离散的时间序列。假设一段长度为T的文本中的词依次为w1,w2,...,wTw_1,w_2,...,w_Tw1​,w2​,...,wT​,那么在离散的时间序列中,wt(1≤t≤T)w_t(1\leq t\leq T)wt​(1≤t≤T)可看做在时间步t的输出或者标签。给定一个长度为T的词的序列w1,w2,...,wTw_1,w_2,...,w_Tw1​,w2​,...,wT​,语言模型将计算该序列的概率:P(w1,w2,...,wT)P(w_1,w_2,...,w_T)P(w1​,w2​,...,wT​)语言模型