SparkStreaming源码解读之数据清理内幕彻底解密
s97469
5
0
PDF
2021-04-20 04:04:43
1.理清楚SparkStreaming中数据清理的流程a)背景b)如何研究SparkStreaming数据清理?c)源码解析SparkStreaming数据清理的工作无论是在实际开发中,还是自己动手实践中都是会面临的,Spark Streaming中BatchDurations中会不断的产生RDD,这样会不断的有内存对象生成,其中包含元数据和数据本身。由此Spark Streaming本身会有一套产生元数据以及数据的清理机制。操作DStrea
暂无评论