DRDS到ODPS数据迁移指南

  • 时间:
  • 浏览:1



3. 在新建数据源弹出框中,选泽数据源类型为DRDS;

  可能越来越 配置上游任务,则当前任务默认由项目本身 触发运行,故在调度系统中,该任务的上游默认为 project_start 任务。每一一个项目中默认会创建一一个 project_start 任务作为根任务。

默认的依赖属性:

 

 1.登录Base管控台,单击顶部菜单栏中的项目管理,并选泽相应的项目。

 2. 根据跳转页面的提示,单击确认运行

l  数据源描述:对数据源进行简单描述,不得超过80个字符。

l  数据源类型:当前选泽的数据源类型ODPS。

 作业波特率上限是指数据同步作业可能达到的最高波特率,其最终实际波特率受网络环境、数据库配置等影响。

  依赖属性中里能配置任务的上游依赖,表示即使当前任务的实例可能到定时时间,不里能在等待上游任务的实例运行完毕才会触发运行。

l  ODPS Endpoint:默认只读。从系统配置中自动读取。



当源表和目标表价值形式一致时源和目标表字段默认是一一对应的关系,不需要做任何设置。如下图所示:



2. 进入数据源配置,单击新增数据源

 

2.     

选泽数据来源和目标

  选泽目录:根据任务开发,选泽您所使用的文件夹中要同步的任务。

l  数据源类型:当前选泽的数据源类型DRDS。

1.   新建数据同步节点,如下图所示:

配置项说明(上图中带*的都里能输入相应的信息):

   清理规则里能根据数据要求配置,默认是写入前清理已有数据。





5. 测试连通性通事先,单击选泽。

2.进入数据源配置,单击新增数据源。

  任务类型为工作流任务可一次性调度或周期调度,节点任务只能是周期调度;

l  数据源名称:由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过80个字符。

4. 单击测试连通性。

测试运行是手动触发任务执行,任务调度的时间到了,就自动运行,无视实例的上游依赖关系。

3. 在新建数据源弹出框中,选泽数据源类型为 ODPS。

    加载控制

4. 单击测试连通性

  名称: 起一一个好识别的名称,符合命名规则即可;

初次在同步数据前里能在源库和目标库创建好相应的表价值形式。



3.单击前往运维中心查看任务运行情形和运行日志,如下图所示

l  jdbcUrl:JDBC连接信息,格式为:jdbc://mysql://serverIP:Port/database。

说明:

  类型:选泽数据同步;

l  用户名/密码:DRDS库对应的用户名和密码。

    抽取控制

l  数据源描述:对数据源进行简单描述,不得超过80个字符。

写入前清理已有数据写入前保留已有数据



1.登录Base管控台,单击顶部菜单栏中的项目管理,并选泽相应的项目。

l  ODPS项目名称与计算引擎配置中的ODPS项目名称相同。

l  AccessID/AceessKey访问密钥 AccessKeyAK 最少 登录密码。



   新建任务创建好保存后,会默认产生一一个周期调度任务,默认的时间是每天晚上00:00执行。客户也可根据实际的同步场景进行时间调整配置。下图所示是默认的配置:

 5.流量与出错控制



1.单击工作流页面中的测试运行按钮,如下图所示:



数据同步节点任务是阿里云大数据平台对外提供的稳定高效、弹性伸缩的数据同步云服务。DRDS到ODPS数据迁移采用CDP的方式同步数据。

配置项说明(上图中带*的都里能输入相应的信息):

4.抽取控制和加载控制

l  数据源名称:由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过80个字符。

5. 测试连通性通事先,单击选泽

  新建任务配置项说明(*项都里能输入或选泽):

  全量迁移数据过滤为空,增量同步时里能增加时间过滤条件。

其中:数据来源指的是数据源,数据流向指的是目标数据源。

若测试运行只里能运行一次,测试运行完成里能能在调度情形前打勾暂停掉此任务。

3. 字段配置