pyarrow s3 parquet benchmarks:使用PyArrow从AWS S3读取实木复合地板文件的基准 源码
PyArrow阅读S3实木复合地板基准 S3 Parquet阅读基准测试结果 读取的列数 结果大小(MB) 运行时间 吞吐量(MBps) 本地文件系统 1个 41.77 0.44 95.63 4 185.88 0.36 521.01 全部 655.79 1.28 512.53 PyArrow s3fs 1个 41.77 8.64 4.83 4 185.88 28.60 6.50 全部 655.80 115.78 5.66 AWS Data Wrangler 1个 41.77 15.46 2.70 4 183.79 49.22 3.
文件列表
pyarrow-s3-parquet-benchmarks-main.zip
(预估有个10文件)
pyarrow-s3-parquet-benchmarks-main
.gitignore
107B
readme_files
figure-gfm
load data-1.png
30KB
load data-2.png
29KB
benchmark.py
3KB
requirements.txt
68B
readme.rmd
2KB
LICENSE
1KB
暂无评论