基于python的二手房信息并进行数据处理与分析
基于python的二手房数据分析spider爬虫脚本负责获取二手房数据conf项目的全局配置config.yaml里定义获取过程中的url地址和自己的用户名密码cities.py获取每个城市对应子域名cas cas模拟登录模块二手房成交信息需要登录才能获取.其采用cas单点登录密码使用rsa2和rsa加密隔天轮换utils工具包包含从UA池中获取随机User Agent的方法操作数据库的方法.spider.py爬虫主文件根据城市地区爬取相应数据存入mysql UA.txt UA池反反爬sql table.sql建表脚本sh house backend系统后端sh house frontend系统前端可视化部分static静态图片资源和使用pyecharts动态绘制出的可视化图template模板app.pyapp draw.py各种画图函数
文件列表
(new)sh_house_analysis-main.zip
(预估有个93文件)
sh_house_analysis-main
spider
sql
table.sql
847B
utils
utils.py
4KB
__init__.py
44B
__pycache__
utils.cpython-38.pyc
5KB
__init__.cpython-38.pyc
224B
暂无评论