Python3爬虫发送请求的知识点实例

使用urllib的request模块,我们可以方便地实现请求的发送并得到响应,本节就来看下它的具体用法。 1. urlopen() urllib.request模块提供了最基本的构造HTTP请求的方法,利用它可以模拟浏览器的一个请求发起过程,同时它还带有处理授权验证(authenticaton)、重定向(redirection)、浏览器Cookies以及其他内容。 下面我们来看一下它的强大之处。这里以Python官网为例,我们来把这个网页抓下来: import urllib.request response = urllib.request.urlopen('https://www.pyth