首先，我们来了解一下网络爬虫的定义：网络爬虫，又被称为网页蜘蛛、网络机器人或者在FOAF社区中更经常被称为网页追逐者，它是一种按照一定规则自动抓取互联网信息的程序或脚本，简单来说就是互联网上的信息搬运工。接下来，我们深入了解爬虫应该遵循的规则：robots协议是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉搜索引擎的漫游器，哪些内容不应该被获取，哪些可以被获取。了解了定义和规则之后，我们来熟悉一下爬虫的基本原理。作为灵魂画手，我为您画了一个示意图，通过它您可以更清楚地理解爬虫的运作原理。