基于中国大学软科排名网站的数据爬取及可视化分析,包括以下步骤:

  1. 使用selenium和PhantomJS模拟登录软科学网,保存网页快照paiming.png文件。

  2. 爬取网站排名前100的大学信息,包括中文名、省市、类型、排名、总分,将数据存储到MySQL数据库中。输入要爬取的页数进行爬取。

  3. 对存储的数据采用可视化技术进行分析,包括以下内容:

  4. 主榜上榜高校各省市分布数据量,形成地图展示;

  5. 各省市平均分形成柱状图展示;
  6. 上榜高校最多的省市名称形成词云展示。