词嵌入 我们知道,计算机擅长数字,这意味着神经网络擅长数字,但文字能力不强。 为了进行文本表示,我们通常采用一种称为“一键编码”的方法,在该方法中,我们将词汇表表示为向量。 工作嵌入意味着创建一个神经网络,该神经网络可以从单词的词汇中学习以将单词表示为矢量,但是这里的要点是,它还可以学习一些更有趣的事物,例如像时态这样的单词之间的关联,例如完整和完整。 他们还可以学习性别基础协会,例如女人和皇后或男人和国王。 嵌入式权重/查询表 如果我们看一个使用文本输入的Rnn,则可能有一个热编码的矢量,其大小约为数千列,但只有一个值设置为1。 然后将此矩阵乘以权重矩阵,但由于其中的大多数值均为零,因此我们