文本预处理 文本是一类序列数据,一篇文章可以看作是字符或单词的序列,本节将介绍文本数据的常见预处理步骤,预处理通常包括四个步骤: 读入文本 分词 建立字典,将每个词映射到一个唯一的索引(index) 将文本从词的序列转换为索引的序列,方便输入模型 读入文本 我们用一部英文小说,莎士比亚的罗密哦与朱丽叶作品作为示例,展示文本预处理的具体过程。 import collections import re def read_time_machine(): with open('1513.txt', 'r',encoding='gbk',errors='ignore') as f: