针对华北型煤田煤层底板突水监测预警的问题,以底板“下三带”理论为基础,开展了微震-电法耦合系统的水害监测预警。在分析微震-电法耦合系统监测数据基础上,采用Flume设计数据迁移子系统,以流处理方式对监测源数据进行预处理,对关键目标数据进行采集、聚合和传输,实现了有效监测数据的实时迁移。若对此系统的设计有兴趣,可以参考煤矿水害预警系统设计相关内容。

针对煤矿水害多源监测预警过程中数据规模大、数据实时处理要求高等特点,结合多源异构数据关联分析时空属性数据分析处理需求,基于Spark和HDFS设计实现了具备TB级数据存储处理能力的煤矿水害多源监测大数据存储平台。该平台采用HDFS设计构建统一的多源时序大数据存储体系,通过MapReduce实现大数据并行处理,利用YARN实现资源的调度与管理,为海量数据存储提供支撑。更多关于大数据处理技术的深度学习内容,可以参阅人工智能大数据深度学习.ppt深度学习在大数据应用上

平台采用Spark Streaming框架搭建了数据实时处理中心,通过流处理方式实现监测数据高速处理,并通过智能预警算法模块远程服务接口为预警系统现场应用提供支撑。在智能预警技术方面,结合监测数据的时空属性特点,提出了基于深度学习时空序列预测方法——长短时记忆循环网络(LSTM)智能预警模型的底板突水模型预警技术。基于LSTM方法的预警技术,以“下三带”理论为基础,为煤矿安全提供了有效的技术支撑。有关LSTM的更多技术细节可以参考深度学习与大数据挖掘相关内容。