分析Ajax请求并抓取今日头条街拍美图weixin30791095于20190325000700发布65收藏版权1.抓取索引页内容利用requests请求目标站点得到索引网页HTML代码返回结果2.抓取详情页内容解析返回结果得到详情的链接并进一步抓取详情页的信息3.下载图片与保存数据库将图片下载到本地并把页面信息及图片URL保存至MongDB4.开启循环及多线程对多页内容遍历开启多线程提高抓取速度整理好思绪后就可以进入实操1.打开今日头条输入街拍呈现两种图片类型一种是非图集形式的就是点进去一直下拉就能看到图片的那种另一种就是组图形式点进去有个小箭头的后者就是我们今天要爬取的内容图片形式如下图所示注意街拍页面已经改了2.踩点打开审查元素一顿操作后发现终于找到点蛛丝马迹没错下面这个JSON对象的data键正是我们要找的东西3分析data里面有个cell type67的都没有图片信息这个可以作为后面过滤URL的条件有图片信息的在下拉过程