异构数据源数据交换工具 DataX.zip
一.DataX3.0概览 DataX是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 设计理念 为了解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候,只需要将此数据源对接到DataX,便能跟已有的数据源做到无缝数据同步。 当前使用现状 DataX在阿里巴巴集团内被广泛使用,承担了所有大数据的离线同步业务,并已持续稳定运行了6年之久。目前每天完成同步8w多道作业,每日传输数据量超过300TB。
用户评论
推荐下载
-
内存数据交换格式ApacheArrow.zip
Apache Arrow是Apache基金会下一个全新的开源项目,同时也是顶级项目。它的目的是作为一个跨平台的数据层来加快大数据分析项目的运行速度。用户在应用大数据分析时除了将Hadoop等大数据平台
31 2020-08-08 -
一种面向服务的异构系统间数据交换平台设计
论文:一种面向服务的异构系统间数据交换平台设计
26 2019-05-22 -
基于CORBA的异构电力信息系统的集成与数据交换
目前国内的电力公司大多有几个异构的电力信息系统,各系统相互独立,具有很强的独立性和“自治性”,但各系统间资源不能共享,信息不能交换。本文在介绍CORBA常识的基础上,提出了基于CORBA的异构电力信息
19 2020-08-08 -
多源异构数据挖掘算法
主要是一个线性二乘来实现的多源异构算法,用于多源异构数据的各种处理
21 2019-05-15 -
Flex与java交换数据Flex数据交换Flex与java交换数据教程
Flex与java交换数据Flex数据交换Flex与java交换数据教程。
42 2019-09-13 -
SpringBoot多数据源连接Druid监控双数据源Demo
自己临时搭建的SpringBoot多数据源连接报表,同时连接Mysql,Oracle数据库Mybatis连接,Druid监控双数据源,Quart执行定时任务,PageHelper分页,前端延用Layu
32 2019-07-11 -
数据源go自动测试数据源平台源码
数据源 性能数据收集平台预算项目,目前包含了性能数据收集存储。 支持高并发 大数据分表存储 提供开放式API 提供SDK配合使用 其他 开源数据源平台 整合了Gin框架和其他的通用功能,包括: 中间件
7 2021-02-23 -
Spring_bootmybatis多数据源整合动态切换数据源
Spring-boot+mybatis多数据源整合(动态切换数据源),亲测可用
48 2019-01-08 -
birt动态数据源
115555 博文链接:https://xuxiangpan888.iteye.com/blog/634854
11 2020-11-10 -
mybatis数据源操作
mybatis java开发资料,资源 属性 事物配置
8 2021-01-31
暂无评论