搜索引擎，作为一种响应用户查询请求的系统，是通过特定的算法从巨大的索引数据库中检索信息并将其返回给用户。为了确保用户获取信息的准确性和新颖性，搜索引擎需要建立并持续维护一个庞大的索引数据库。通常，搜索引擎由网络蜘蛛程序、索引与搜索程序以及庞大的索引数据库等组成。网络蜘蛛，也称为“网络机器人”(Spider)，是一种功能强大的WEB扫描程序，它可以在扫描WEB页面的同时检索其中的超链接，并将其加入扫描队列等待以后的扫描。由于WEB中广泛使用超链接，因此一个Spider程序理论上可以访问整个WEB页面。