页面历史

1.  概述

数据接入是我公司自主研发的一款数据接入工具，提供可视化的界面方便用户进行数据的接入，支持数据以全量、增量、业务主键覆盖等方式将数据同步到本平台中。

2. 界面概览

3. 数据接入

3.1 创建非实时应用

3.1.1创建mysql、sqlserver、oracle驱动类型的应用

创建应用： 点击添加，输入应用基本信息、联系人、驱动类型、服务器配置后，点击测试连接，连接通过，即可创建应用。

应用名称：一般是中文描述。

应用简称：一般是英文名称，类似数据库的架构名称。

应用负责人：一般是该系统的IT负责人，方便后续在数据接入的过程中，如果发现上游系统无法正常访问时，能够第一时间得到相应的帮助。

负责人邮箱：同应用负责人作用一样。

驱动类型：本平台支持的几种上游系统，如mysql、sqlserver、oracle、ftp文件系统、非实时api调用、RestfulAPI实时推送。

服务器配置：本平台同步数据时，用于连接上游系统的服务器基本信息

3.1.2创建物理表

1.新增一张物理表；

2.选择刚才新增的；

3.在页面的SQL编辑器中输入业务SQL；

4.进入字段映射配置页面

5.对字段进行配置

6.进入覆盖方式页面

数据类型：

• 文本：
  • 存放文本类型数据。
  • 设置长度。
• 整型：
  • 存放数值类型，无小数类型。
• 时间戳：
  • 存放时间类型数据。
• 浮点数：
  • 存放小数类型数据。
  • 设置精度。
• 字符串：
  • 存放字符串类型数据。
  • 设置长度。

3.2 创建ftp驱动类型的应用

点击管道进入管道设计界面，左侧是可拖拽的任务组件，分别是：开始、任务组、数据湖表任务、数仓表任务、分析模型任务。

1. 开始：流程起点，用来设置整个流程的调度时间、频率，调度类型有两种：TIMER DRIVEN ：TIMER DRIVEN 输入框输入的为秒（只能输入数字）或 CRON DRIVEN ：自定义设置。
2. 任务组：可以理解为任务的集合，可将多个任务（数据湖表任务、数仓表任务、分析模型任务）放在一个任务组里。
3. 数据湖表任务：数据湖表对应数据接入中的物理表。
4. 数仓表任务：数仓表对应数据建模中的物理表。
5. 分析模型任务：分析模型对应数仓建模中分析指标模块中创建的表。

在左侧选中需要用到的组件拖拽到右侧的设计面板中。

连接管道，利用连接点连接管道活动，连接的顺序代表数据同步的顺序。

任务组件：

1.开始：

选择 CRON DRIVEN 点击自定义设计时间调度，弹出弹窗可自定义设计调度。

2.数据湖表任务

选中数据湖表任务，在左下角切换到数据表选项点击“＋”图标弹出需要同步数据的物理表供用户选择。

3.数仓表任务：

数仓表任务的操作流程和数据湖表任务的流程相同，唯一不同点在于数仓表任务把物理表分成了维度表和事实表两类；

4.分析模型任务

同2、3 。

3.3 保存&发布

数据同步流程设计好了之后点击右侧的“保存&发布”按钮既可，稍后会根据设计的流程后台自动生产数据同步的调度任务，根据设置的调度频率自行调用。如果是点击的“保存”按钮，那么只会保存设计的流程，不会在系统后台生成调度任务。

4. 查看数据调度日志