学习python自己写的一个简单的网页爬虫

自己写的一个爬虫，模仿了python核心编程书里的程序，有详细的注释。 是我一个理解学习的过程吧。 执行robot.py按照提示输入一个完整的url，单域名结尾需要加/ ，抓取的网页会在脚本目录下生成一个域名的文件夹。