爬虫，即网络爬虫，通过递归访问网络资源，抓取信息。 比如它在抓取一个网页，在这个网中他发现了一条道路，其实就是指向网页的超链接，那么它就可以爬到另一张网上来获取数据。这样，整个连在一起的大网对这之蜘蛛来说触手可及，理论上可以将爬取到整个互联网的绝大部分数据。