简单实现ip代理，为了不卖广告，从上面可以看到数据格式是文本，换行是\r\n，访问链接之后大概就是长这样的,scrapy里面的ip需要加上前缀http://OK，那现在已经准备好了ip了，先给你们屡一下思路。ip池和计数器放在setting文件第一次请求的时候要填满ip池,所以在爬虫文件的start_requests函数下手更换ip的地方是middlewares的下载器中间件类的process_request函数,因为每个请求发起前都会经过这个函数首先是setting文件,其实就是加两句代码还有就是开启下载器中间件,注意是下面那个download的类,中间件的process_request函数的时候才能生效下载器中间件的process_request函数,进行ip代理和固定次数更还ip代理池最后就是爬虫文件的start_requests函数,就是第一次发请求前要先填满ip池的ip简单的ip代理以及固定次数就更换ip池就完成了
暂无评论