接收与处理分离的实时大数据处理模型
在大数据处理过程中,系统必须有非常高的数据处理效率。为了满足对大数据实时、高效、稳定处理的需求,提出了一种接收与处理分离的数据处理模型。该数据处理模型由数据接收单元、内存数据库、原始数据分发单元、数据处理单元、处理数据分发单元、数据归并单元组成。接收单元负责接收、整合结构化数据与非结构化数据,把每条完整的数据放入内存数据库中;分发单元从内存数据库中检测获取数据,按照海量数据负载均衡算法把数据分发到数据处理单元;数据处理单元处理数据,处理结果放入内存数据库;处理数据分发单元继续从内存数据库中获取处理后的数据,并按照海量数据负载均衡算法把数据分发给数据归并单元。
用户评论
推荐下载
-
Spark大数据处理技术应用与性能优化.pdf
Spark大数据处理:技术、应用与性能优化.pdf个人收集电子书,仅用学习使用,不可用于商业用途,如有版权问题,请联系删除!
12 2020-06-12 -
Spark大数据处理技术应用与性能优化.mobi
Spark大数据处理:技术、应用与性能优化mobikindle
23 2020-02-14 -
物联网之云云平台搭建与大数据处理
物联网之云:云平台搭建与大数据处理
39 2019-07-24 -
Spark大数据处理技术应用与性能优化PDF
《Spark大数据处理 技术、应用与性能优化》
45 2018-12-29 -
企业大数据处理SparkDruidFlume与Kafka应用实践
企业大数据处理:Spark、Druid、Flume与Kafka应用实践 目录全
17 2019-01-08 -
云数据处理大数据引发的变革与企业面临的挑战
云数据处理-大数据引发的变革与企业面临的挑战
41 2019-07-27 -
c贪吃蛇采用数据处理与作图分离C
贪吃蛇,采用数据处理,作图分离,C#,可以任意设置食物多少,判断吃到食物的算法比较好,不说了,自己看吧,类设计的不错
25 2019-01-19 -
GIS数据处理与制图
基于超图9D的课程课件,详细具体方便进行实际操作和学习。
24 2019-09-19 -
Excel与数据处理一
从某种程度上讲,Excel的确很简单,但它至少还没有简单到点几下鼠标就行了的程度.它是这样的一种东西:看见别人操作好像简单得不得了,但轮到自已操作时却什么都不会,无从下手了!这是因为别人知道了该怎样操
34 2019-01-15 -
MATLAB数据处理与应用.
《MATLAB数据处理与应用》.pdf版
22 2020-08-20
暂无评论