本文主要讨论ApacheSpark的设计与实现，重点关注其设计思想、运行原理、实现架构及性能调优，附带讨论与HadoopMapReduce在设计与实现上的区别。不喜欢将该文档称之为“源码分析”，因为本文的主要目的不是去解读实现代码，而是尽量有逻辑地，从设计与实现原理的角度，来理解job从产生到执行完成的整个过程，进而去理解整个系统。讨论系统的设计与实现有很多方法，本文选择问题驱动的方式，一开始引入问题，然后分问题逐步深入。从一个典型的job例子入手，逐渐讨论job生成及执行过程中所需要的系统功能支持，然后有选择地深入讨论一些功能模块的设计原理与实现方式。也许这样的方式比一开始就分模块讨论更有主线。本文档面向的是希望对Spa