2023最新代理IP池爬取某小说网站

文件功能介绍如下1.ipapi.py代理API接口这里地址我放到本地了2.ipcollection.py采集代理ip网站这里总共采集了6个代理ip网站目前我只采集了首页的ip这些网站活跃度还可以基本每日抓取一次即可3.ipverify.py代理ip校验检测代理IP是否可用4.ipset.py开了三个进程同时进行采集存储校验代理ip和api调用接口同时运行5.proxy redis.py这里代理ip目前放到redis中该文件保护redis的各种操作6.settings.py配置文件不需要多说7.ua down.py随机获取UA这里我单独写入到一个文件中看情况是否需要结合项目8.uaTools.py如果使用随机UA的话调用该文件即可我在池子里随便放了将近三百个UA9.爬小说网站.py爬取某小说网站并下载保存到本地TXT文件用到的包如下sanic sanic cors requests lxm redis fake useragent项目还有很多的优化空间小伙伴们自行消化吧