代码已开源可以到github上直接下载: https://github.com/ICEJM1020/StationMaster 开源中国工具网 http://tool.oschina.net 是一个对程序员十分友好的网站,里面有很多可供使用的在线工具。request库是python中非常简单的一个网页处理库,相比于Scrapy这样的大型爬虫库,request库更容易上手,再配合BeautifulSoup和re库的正则表达式,非常容易上手,这篇文章就以站长之家为样本,爬取下主页工具的链接网址。 一、网页分析 工具网网页非常简单,用来爬虫入门那是相当方便。当然,选择这个网站最主要的原因还是因为