基于GIS的电网地理信息分布式数据挖掘
MapReduce是现有大数据平台中典型的分布式并行计算编程模型,在大数据处理中被广泛应用于电网综合系统中。由于MapReduce屏蔽底层复杂的数据源连接,将不同数据源映射为统一的接口,有效地为智能电网一体化平台(IMS)监管系统上层应用提供对异构数据的访问, 成为现阶段数据分析需要解决的问题。本文将针对电网海量GIS信息数据及其对电网调度几种控制系统带来的数据存取问题,采用Hadoop HDFS进行海量GIS电网地理信息数据存取,利用MapReduce,设计面向HDFS、HBase和Mysql数据库的多数据源的统一数据模型,集成数据操作代码,减少重复代码,提高开发效率。
暂无评论