我们将header和cookie搞到手后就可以将它复制到我们的程序里.之后使用request请求就可以获取到网页了.这个时候我们需要回到网页.同样按下F12进入开发者模式找到网页的Elements部分.用左上角的小框带箭头的标志如下图点击网页内容这个时候网页就会自动在右边显示出你获取网页部分对应的代码.通用网络爬虫又称为全网爬虫其爬行对象由一批种子URL扩充至整个Web该类爬虫比较适合为搜索引擎搜索广泛的主题主要由搜索引擎或大型Web服务提供商使用.