python爬虫简介

python爬虫爬虫是什么爬虫简单的来说就是用程序获取网络上数据这个过程的一种名称.爬虫的原理如果要获取网络上数据我们要给爬虫一个网址程序中通常叫URL爬虫发送一个HTTP请求给目标网页的服务器服务器返回数据给客户端也就是我们的爬虫爬虫再进行数据解析保存等一系列操作.流程爬虫可以节省我们的时间比如我要获取豆瓣电影Top250榜单如果不用爬虫我们要先在浏览器上输入豆瓣电影的URL客户端浏览器通过解析查到豆瓣电影网页的服务器的IP地址然后与它建立连接浏览器再创造一个HTTP请求发送给豆瓣电影的服务器服务器收到请求之后把Top250榜单从数据库中提出封装成一个HTTP响应然后将响应结果返回给浏览器浏览器显示响应内容我们看到数据.我们的爬虫也是根据这个流程只不过改成了代码形式.HTTP请求HTTP请求由请求行请求头空行请求体组成.请求行由三部分组成1.请求方法常见的请求方法有GET POST PUT DELETE HEAD