通用搜索引擎的处理对象是互联网网页，截至目前的网页数量数以百万计，所以搜索引擎首先面临的问题就是如何能够设计出高效的下载系统，将如此海量的网页数据传送到本地，在本地形成互联网网页的镜像备份。网络爬虫即扮演如此角色。它是搜索引擎中及其关键的基础构件。