面向煤炭开采的大数据处理平台构建关键技术
针对我国煤炭开采技术已步入机械化、自动化、智能化无人开采及建设智慧矿山阶段,煤炭开采与其他工业领域一样逐步进入新的依靠数据生产的时代,由此产生的海量数据处理的问题,提出构建煤炭开采的大数据处理平台。在分析了我国煤炭开采生产中产生的数据量大、多样性、时效性强、数据失真可能性大、预判性要求高、数据价值密度低等特点,提出了以大数据理论和技术为基础,从硬件和软件两部分架构平台。硬件部分:提出基于原有信息化建设所选配服务器基础上,应用服务器集群技术搭建服务器集群,对其进行升级改配,不足部分再根据运行需要不断增配和调整;对集群服务器中的结点名称服务器内存大小,根据管理文件数量多少、文件块的大小、管理服务器
用户评论
推荐下载
-
大数据处理技术网页数据清洗及分词
1.在jar包执行时,会出现ansj中的类找不到的错误,解决方法是将ansj和nlp两个包上传到hadoop节点上,然后运行程序的执行命令时加上jar包就可以了。2.重复运行程序的时候因为之前生成结果
54 2019-05-03 -
数据转换信号处理中的DDRx的关键技术介绍
首先小编就几个关键技术再给大家介绍一下。 差分时钟技术 差分时钟是DDR的一个重要且必要的设计,但大家对CK#(CKN)的作用认识很少,很多人理解为第二个触发时钟,其实它的真实作用是起到触发时钟校准的
17 2020-10-16 -
Flink构建下一代大数据处理引擎
分析阿里、滴滴、知乎业务等典型案例,计算出数据趋势——Flink将成为下一代优秀的数据引擎,它不但可以解决大规模部署+云计算隔离问题,还可以解决流计算时延问题,减少Date Skew,避免木桶效应。
13 2020-10-28 -
p2p平台的关键技术
讲解基于p2p平台的一些技术点
23 2019-02-27 -
PAC平台的关键技术及其应用.pdf
作为一种新型的自动控制技术,PAC是目前工业自动化领域研究的热点之一。首 先简要介绍PAC技术的功能特征,进而论述PAC的实现技术RI
12 2020-08-19 -
何清大数据的挑战性问题及关键技术
中科院计算技术研究所研究员何清分享的主题是“大数据的挑战性问题及关键技术”,何清主要从数学方面对大数据进行剖析。他首先使用数学归纳法证明了“大数据悖论”——有限条数据是小数据。随后更从多个方面对当下大
5 2020-08-20 -
Spark大数据处理技术应用与性能优化
《Spark大数据处理:技术、应用与性能优化》高清pdf版,带完整详细目录
35 2019-02-19 -
Spark大数据处理技术应用和性能优化
系统、全面、详细讲解Spark的各项功能使用、原理机制、技术细节、应用方法、性能优化,以及BDAS生态系统的相关技术。
36 2018-12-09 -
大数据处理hadoop2.0核心架构技术
大数据处理--hadoop2.0核心架构技术,主要介绍了大数据面临的挑战,而hadoop正是解决这些挑战的重要技术,接着分别介绍了hadoop1.0和hadoop2.0的区别,进而重点讲到hadoop
50 2019-05-22 -
spark大数据处理技术应用与性能优化
spark大数据处理技术、应用与性能优化spark工作机制spark调度与任务分配模块
48 2019-05-02
暂无评论