程序员为什么还要刷题 apache spark test:一个关于ApacheSpark2.0的小型学习项目

程序员常刷题Apache Spark测试一个关于如何使用。它是我个人的学习项目，主要是对Internet上大量可用资源的复制/粘贴，以便在一页上获取概念。我们将使用结构化查询语言(SQL)。

Apache Spark是一个开源分布式通用集群计算框架，具有内存数据处理引擎，可以对大量静态（批处理）或动态（流处理）数据进行ETL、分析、机器学习和图形处理。它具有适用于Scala、Python、Java、R和SQL的丰富简洁的高级API。Spark可以描述为一个分布式数据处理引擎，用于批处理和流模式，支持SQL查询、图形处理和机器学习。

与Hadoop的两阶段基于磁盘的MapReduce处理引擎相比，Spark的多阶段内存计算引擎允许在内存中运行大部分计算，通常提供更好的性能（有报道称其速度提高了100倍），尤其适用于迭代算法或交互式数据挖掘。在使用Spark一段时间后，我将其描述为交互式批处理分析引擎。