Python搜寻器 由于代码是比较早之前写的,抓取的网站目录结构可能有所改善所以部分代码可能无法使用了,欢迎正在学习爬虫的大家给这个项目提PR让更多的代码能跑起来〜 从零开始系统化的学习写Python爬虫。主要是记录一下自己写Python爬虫的经过与心得。同时也是为了分享一下如何能更高效率的学习写爬虫。 IDE:Vscode Python版本:3.6 知乎专栏: : 详细学习路径: 一:美丽的汤爬虫 请求库的安装与使用 安装美丽的汤爬虫环境 美丽的汤的解析器 re库正则表达式的使用 bs4爬虫实践:获取百度贴吧的内容 bs4爬虫实践:获取双色球中奖信息 bs4爬虫实践:排行榜小说批量下载 bs4爬虫实践:获取电影信息 bs4爬虫实践:悦音台mv排行榜与反爬虫技术 二:Scrapy爬虫框架 Scrapy爬虫框架的安装与基本介绍 Scrapy选择器和基本使用 Scrapy