数据清洗,数据过滤,清洗规则
定义 1 原始数据(Raw Data) 原始数据是来自数据源的数据,一般作为数据清洗的输入 数据,文中后面用 RawData 表示原始数据; 定义 2 干净数据(Clean Data) 干净数据也称目标数据(Target Data),即为符合数据仓库 或上层应用逻辑规格的数据,也是数据清洗过程的结果数据,数据清洗过程从来自各种异构 源的数据中产生出干净数据,如果数据源的数据已经被检查出是干净数据,数据清洗过程将 会保留,文中后面用CleanData 表示干净数据; 定义 3 脏数据(Dirty Data) 与干净数据相对应, 脏数据即为不符合数据仓库或上层应用 逻辑规格的数据,数据清洗过程识别出是脏数据后,将会丢弃,文中后面用 DirtyData 表示 脏数据 ; 定义 4 清洗检查(Clean Check) 检查数据是干净数据/脏数据的过程,可以用条件函数 定义 5 清洗动作(Clean Action) 清洗过程进行清洗检查后的操作,可以有两种清洗动 作:丢弃和保留 定义 6 清洗规则(Clean Rule) 一条清洗规则定义了清洗检查和检查后采取的进一步的 动作,可以用二元组的形式表示为: 定义 7 数据清洗(Data Clean) 数据清洗为从各种原始数据中产生出干净数据的过程, 可以形式化表示为: ; 定义 4 清洗检查(Clean Check) 检查数据是干净数据/脏数据的过程,可以用条件函数 定义 5 清洗动作(Clean Action) 清洗过程进行清洗检查后的操作,可以有两种清洗动 作:丢弃和保留 定义 6 清洗规则(Clean Rule) 一条清洗规则定义了清洗检查和检查后采取的进一步的 动作,可以用二元组的形式表示为: 定义 7 数据清洗(Data Clean) 数据清洗为从各种原始数据中产生出干净数据的过程, 可以形式化表示为: