shipments etl:ETL流程从CSV获取数据并将其加载到PostgreSQL数据库中 源码
发货ETL ETL过程从CSV数据集中获取数据并加载到PostgreSQL数据库中 要求 PostgreSQL 13.2或更高版本。 使用的配置: 用户:postgres(具有创建,删除和修改模式,数据库和表的权限;具有修改数据的权限(INSERT,READ,DELETE)。 postgres的密码:sa Postgres的地址-默认为localhost:5432 Python 3.9或更高版本。 如果环境也是Windows,请确保系统变量Path包含Python位置。 适用于python的psycopg2插件。 安装在提示符下执行命令:pip install psycopg2 PowerBI桌面 数据集CSV文件 由于使用了PowerBI软件,因此该测试是在Windows环境中构建的。 上下文和流程决策 通过分析数据集,我看到了数据的三个维度:数据来自订单本身,托运人的数据和
文件列表
shipments-etl-main.zip
(预估有个11文件)
shipments-etl-main
tests
__init__.py
0B
parser_tests.py
4KB
app
parser.py
5KB
database.py
2KB
__init__.py
0B
etl_home.py
2KB
tablespace_creation.sql
1KB
暂无评论