随着Internet的快速发展,Web上的信息资源也呈指数级增长,搜索引擎已经成为网络用户获取各种信息的必备工具。对于搜索引擎来说,要抓取互联网上的所有信息几乎是不可能的,从公布的数据来看,容量最大的搜索引擎也只不过是抓取了整个网络信息的40%左右。传统的搜索引擎(如Google、Baidu、Yahoo等)大多数都是面向所有信息的搜索引擎,是一种通用搜索引擎。 主题网络蜘蛛是最近几年兴起的研究热点,当"蜘蛛"程序出现时,现代意义上的搜索引擎才初露端倪。它实际上是一种电脑"机器人",电脑"机器人"是指某个能以人类无法达到的速度不间断地执行某项任务的软件程序。由于专门用于检索信息的"机器人"程