spark性能调节与优化

鉴于 Spark 基于内存计算这一天性，以下集群资源可能会造成 Spark 程序的瓶颈：CPU，带宽和内存。 通常情况下，如果内存足够的情况下，瓶颈只可能出现在网络带宽方面；但有时，你也需要做一些例如序列化优化来降低内存使用率。这份指导主要集中于两方面：数据序列化，这是充分提升网络表现和降低内存消耗、内存优化的关键；我们也会简要阐述一些小技巧。