Flink基本工作原理

Flink是新的stream计算引擎,用java实现。既可以处理stream data也可以处理batchdata,可以同时兼顾Spark以及Sparkstreaming的功能,与Spark不同的是,Flink本质上只有stream的概念,batch被认为是special stream。Flink在运行中主要有三个组件组成,JobClient,JobManager和TaskManager。主要工作原理如下图