Skytrax数据仓库 完整的数据仓库基础架构,其ETL管道在Apache Airflow上的docker上的docker内部运行,用于数据编排,用于云数据仓库的AWS Redshift和用于满足数据可视化需求(例如分析仪表板)的Metabase。 建筑 数据仓库包括以下各个模块: 总览 数据是从 获得的。 收集的数据存储在本地磁盘上,并及时移至AWS S3上的Landing Bucket。 ETL作业是用SQL编写的,并且以气流的形式进行调度,以每小时运行一次,以保持云数据仓库中数据的新鲜度。 资料建模 以下是事实和维度表: 尺寸表 aircrafts airlines passenger