搜索引擎文本预处理

本文在深入分析难过过搜索引擎基本原理、架构设计和核心技术的基础上,结合可扩展的scrapy框架、开源搜索引擎lucene的实现原理以及多种分词技术,设计并实现了一个可扩展可复用的小型搜索引擎文本预处理系统。