【Spark2运算效率】【Spark2运算效率】第三节 影响生产集群运算效率的原因之资源缺乏前言问题概述调整办法结语跳转 前言 面对复杂的业务问题,以及日益增多的需求,我们开发的脚本也越来越多,集群承载的计算量也越来越大,为了方便管理,很多企业引进或者自研出了适配的调度系统。 本节的调优办法要根据自身公司调度系统的特点,进行分析后再做出相应的调试(调优一方面追求单个作业的高效性,也要使得整体作业批次的执行时长被压缩,本节是从整体作业批次的角度来分析运行效率的)。 问题概述 以市面现有的一些开源系统中较常见的Oozie举例,其提供了定时提交任务功能以外,还能够设置作业前后置依赖,将其与Hue相集