在之前的ETL介绍中我们介绍了数据抽取,包括了全量数据抽取和增量数据抽取。今天给大家做一下增量和全量的差异介绍。 全量增量用于数据采集的差异: 全量抽取简单,但是数据量大;增量抽取,相对复杂,要求对数据差异准确性高,对业务系统的性能不能有太大压力。 增量与全量用于数据同步的差异: 全量,就是每天定时(一般是夜里,避开业务高峰期)或者周期性全量把数据从一个地方拷贝到另外一个地方;可以采用直接用新数据全部覆盖旧数据的方式;或者覆盖前判断下如果新旧不一致就更新,如果不一致则不更新;这里面有一个隐藏的问题:如果采用异步写,数据源物理删除了,怎么直接通过全量数据同步?这就需要借助一些中间操作日志文件,