proxy_web_crawler:自动执行通过剪贴的代理IP和搜索关键字重复搜索网站的过程 源码
每次搜索具有不同代理的网站 此脚本可自动通过关键字和Bing搜索引擎...搜索网站的过程。 传递完整的URL和至少1个关键字作为命令行参数: python proxy_crawler.py -u -k keyword python proxy_crawler.py -u -k "my ip" 如果在Linux系统上,proxy_crawler可以无头运行。 给出-x选项(需要XVFB): python proxy_crawler.py -u -k "my ip" -x 它首先使用从网络上抓取 然后为每个迭代使用新的代理套接字,通过Bing搜索指定的关键字,直到找到所需的网站 然后访问该
文件列表
proxy_web_crawler-master.zip
(预估有个8文件)
proxy_web_crawler-master
sc.png
133KB
LICENSE
1KB
README.md
2KB
proxy_crawler.py
764B
crawler
crawl.py
6KB
arguments.py
719B
__init__.py
101B
.gitignore
16B
暂无评论