大数据预处理之数据集成

数据处理常常涉及数据集成操作,即将来自多个数据源的数据,如数据库、数据立方、普通文件等,结合在一起并形成一个统一数据集合,以便为数据处理工作的顺利完成提供完整的数据基础。 在数据集成过程中,需要考虑解决以下几个问题。 1. 模式集成问题 模式集成问题就是如何使来自多个数据源的现实世界的实体相互匹配,这其中就涉及实体识别问题。 例如,如何确定一个数据库中的“custom_id”与另一个数据库中的“custome_number”是否表示同一实体。 数据库与数据仓库通常包含元数据,这些元数据可以帮助避免在模式集成时发生错误。 2. 冗余问题 冗余问题是数据集成中经常发生的另一个问题。若一个属性可以从