基于本体的网络爬虫技术研究

互联网已经成为最大的非结构化数据库，极大方便了信息访问。然而，网络上的信息大多都是无组织的，由于网络的分布式特性，很难对它进行信息和知识管理。因此，如何建立一个智能的信息发现机制很有必要。本文在分析了爬虫工作原理和传统算法后，提出了一种基于本体的网络爬虫的信息发现框架。该框架包含了预处理模块和本体管理模块，定义了网页相关度计算策略，最后通过实验对该框架进行了评估。