一、前言利用selenium+requests访问页面爬取拉勾网招聘信息二、分析url观察页面可知，页面数据属于动态加载 所以现在我们通过抓包工具，获取数据包观察其url和参数所以我们要想实现全站爬取，需要有city和页数三、获取所有城市和页数我们打开拉勾网，观察后发现，他的数据并不是完全展示的，比如说 在城市筛选选择全国 仅仅只显示30页 但总页数是远远大于30页的；我又选择北京发现是30页又选择北京下的海淀区又是30页，可能我们无法把数据全部的爬取，但我们可以尽可能的将数据多的爬取我们为了获取全站数据，必然离不开的有两个参数 一个是城市一个是页数，所以我们利用selenium自动化去获取所
暂无评论