第1章网络爬虫简介11.1网络爬虫何时有用11.2网络爬虫是否合法21.3背景调研31.3.1检查robots.txt31.3.2检查网站地图41.3.3估算网站大小51.3.4识别网站所用技术71.3.5寻找网站所有者71.4编写第一个网络爬虫81.4.1下载网页91.4.2网站地图爬虫121.4.3ID遍历爬虫131.4.4链接爬虫151.5本章小结22第2章数据抓取232.1分析网页232.2三种网页抓取方法262.2.1正则表达式262.2.2BeautifulSoup282.2.3