resume_crawler 源码
resume_crawler 运行环境: macOS 10.15。 依存关系: Python 3.7.4,PostgreSQL 11.5,Selenium,BeautifulSoup4,psycopg2。 使用方法: python crawler.py crontab: $ crontab -e添加* 12 * * * /absolute-path/run_crawler.sh注意更改sh中的文件路径 输出: bl_video:从postgresql中导出的csv文件 已知错误/不足: 有时要求库会返回NoneType,怀疑是访问过多ip被限制访问。selenium访问性能变量,过快
文件列表
resume_crawler-master.zip
(预估有个6文件)
resume_crawler-master
bl_video
1.56MB
user_agents.txt
94KB
README.md
626B
run_crawler.sh
81B
crawl.xls
2.36MB
crawler.py
9KB
暂无评论