python爬虫课设爬取51job网站岗位基本信息大学开展python数据获取与预处理的小伙伴们可以直接拿来用
该课题要求爬取目标网站https www.51job.com中输入关键字后工作岗位的基本信息如岗位名字岗位薪资base地福利岗位要求岗位需求公司发布日期公司所属行业公司性质招聘岗位简介公司简介等爬取过程中需要注意网页反爬机制.1编写代码模仿浏览器人为操作通过关键字爬取人才网的职位信息2将爬取到的网页信息进行信息预处理清洗等.3将处理完的数据存储在Mysql数据库中数据库名为job或者数据存储在名为job的Excel表格或名为job的记事本文件中.4用数据可视化处理数据生成岗位在地图上面的热力图热门地区岗位薪资待遇柱状图热门地区岗位招聘个数折线图以及以招聘地区出现次数的云图从而反馈出岗位的热门地区以及薪资待遇.5设计对抓取数据的备份还原机制确保数据安全.
文件列表
python实训爬虫课设.rar
(预估有个8文件)
python实训爬虫课设
程序
wordcloud.png
387KB
job.csv
33KB
dump.sql
14KB
城市职位热力图.html
3.48MB
mysql.py
5KB
visual.py
2KB
spider.py
7KB
实训报告
暂无评论