基于Spark构建数据分析系统 习题 基于Spark构建数据分析系统 习题 10.4 Spark项目实战.docx

PAGE 130 大数据构建与应用 单元10 Spark并行计算框架 单元介绍 我们知道Hadoop是对大数据集进行分布式计算的标准工具允许使用配置较低的硬件组成集群从而进行超级计算机级别的计算大大提高了运算效率但是Hadoop还存在很多已知限制比如对MapReduce编程就比较困难对大多数分析运算来说你都必须用很多步骤将Map和Reduce任务串接起来这造成类SQL的计算或机器学习需要专门的系统