steaming_google_cloud 源码
使用Cloud Functions将数据从Cloud Storage流式传输到BigQuery 这段代码从捕获流事件(将文件上传到Cloud Storage)到执行基本处理,错误处理,日志记录以及将流插入到bigquery的整个过程中,都研究了完整的接收管道。 该示例使用Cloud Function从存储桶(对象创建)中捕获事件,读取文件并将内容(JSON)流式传输到BigQuery中的表。 如果出现问题,该功能会将结果记录在Cloud Logging和Firestore中,以进行后期分析。 最后,可以使用DataStudio或具有API集成的前端Web UI来可视化BigQuery的数据。 有关如何执行此流传输管道的步骤的更多详细信息,请教程了解如何将 。
文件列表
steaming_google_cloud-master.zip
(预估有个13文件)
steaming_google_cloud-master
firestore
show_streaming_errors.py
2KB
functions
move_file
requirements.txt
28B
main.py
1KB
streaming
requirements.txt
155B
main.py
4KB
暂无评论