概述 不管是人工智能,还是数据科学,其核心都是数学原理。机器学习中,如何将世间万物变成数字,以便使用数学方法解决问题尤为重要。图像普遍是以像素值为基础输入模型,而文本又该如何处理成数字呢? 文本表示 词袋模型 最基础的文本表示模型是词袋模型。也就是把每篇文档看作是一袋子词,忽略每个词出现的顺序。每篇文档可以表示成一个长向量,向量中的每个维度代表一个单词,对该维度对应的权重也就反映了这个词在文章中的重要程度。我们常用TF-IDF来计算权重。 N-gram模型 上述的词袋模型会出现一个教明显的问题。如“natural language processing”这个短语如果拆成三个单词,这三个单词分别