目 录
数据接入是我公司自主研发的一款数据接入工具，提供可视化的界面方便用户进行数据的接入，支持数据以全量、增量、业务主键覆盖等方式将数据同步到本平台中。
| 目录 |
|---|
|
|
|
|
|
1. 概述
数据接入是我公司自主研发的一款数据接入工具，提供可视化的界面方便用户进行数据的接入，支持数据以全量、增量、业务主键覆盖等方式将数据同步到本平台中。数据接入功能提供可视化的界面，方便用户进行数据的接入，支持SQL Server、Oracle、MySQL、Excel、CSV等多种数据源，数据支持以全量、增量、业务主键覆盖等方式将数据同步到本平台中
2. 界面概览
| 信息 | ||||
|---|---|---|---|---|
| ||||
|
| 信息 | ||||
|---|---|---|---|---|
| ||||
  |
| 信息 | ||||
|---|---|---|---|---|
| ||||
  |
| 信息 | ||||
|---|---|---|---|---|
| ||||
|
| 信息 | ||||
|---|---|---|---|---|
| ||||
|
| 信息 | ||||
|---|---|---|---|---|
| ||||
|
3. 数据接入
3.1 创建非实时应用
3.1.
1创建mysql、sqlserver、oracle驱动类型的应用1 创建MySQL、SQL Server、Oracle驱动类型的应用
（1）创建应用： 点击添加，输入应用基本信息、联系人、驱动类型、服务器配置后，点击测试连接，连接通过，即可创建应用
应用名称：中英文名称皆可
应用简称：一般是英文名称，类似数据库的架构名称
创建应用： 点击添加，输入应用基本信息、联系人、驱动类型、服务器配置后，点击测试连接，连接通过，即可创建应用。应用负责人：一般是该系统的IT负责人，方便后续在数据接入的过程中，如果发现上游系统无法正常访问时，能够第一时间得到相应帮助
应用名称：一般是中文描述。负责人邮箱：同应用负责人作用一样
应用简称：一般是英文名称，类似数据库的架构名称。
应用负责人：一般是该系统的IT负责人，方便后续在数据接入的过程中，如果发现上游系统无法正常访问时，能够第一时间得到相应的帮助。驱动类型：本平台支持的几种上游系统，如mysql、sqlserver、oracle、ftp文件系统、非实时API调用、RestfulAPI实时推送
负责人邮箱：同应用负责人作用一样。服务器配置：本平台同步数据时，用于连接上游系统的服务器基本信息驱动类型：本平台支持的几种上游系统，如mysql、sqlserver、oracle、ftp文件系统、非实时api调用、RestfulAPI实时推送。
服务器配置：本平台同步数据时，用于连接上游系统的服务器基本信息
（2）创建物理表
1.新增一张物理表 → 2.选择新增的未命名表 → 3.
1在页面的SQL编辑器中输入业务SQL→ 4.
2创建物理表进入字段映射配置页面；
5.对字段进行配置→ 6.进入覆盖方式页面
数据类型：
文本：
存放文本类型数据
设置长度
整型：
存放数值类型，无小数类型
时间戳：
存放时间类型数据
浮点数：
存放小数类型数据
设置精度
字符串：
存放字符串类型数据
设置长度
7.选择同步数据的覆盖方式→ 8.保存&发布物理表
9.填写表基本信息（表名、表描述）
10.发布
1.新增一张物理表；
2.选择刚才新增的；
3.在页面的SQL编辑器中输入业务SQL；
4.进入字段映射配置页面；
5.对字段进行配置；
6.进入覆盖方式页面；
7.选择同步数据的覆盖方式；
8.保存&发布物理表。
9.填写表基本信息（表名、表描述）
10.发布。
同步方式：
- 追加：每次同步的数据将以插入的方式追加的原来的表中。
- 全量：每次同步时系统将清空原来的表，并重新插入。
- 业务主键覆盖：系统将根据当前设定的业务主键进行数据覆盖。
- 业务时间覆盖：系统将根据以下选择的条件先从表中删除满足条件的数据，然后重新从插入满足条件的数据。
数据类型：
- 文本：
- 存放文本类型数据。
- 设置长度。
- 整型：
- 存放数值类型，无小数类型。
- 时间戳：
- 存放时间类型数据。
- 浮点数：
- 存放小数类型数据。
- 设置精度。
- 字符串：
- 存放字符串类型数据。
- 设置长度。
3.2 创建ftp驱动类型的应用
点击管道进入管道设计界面，左侧是可拖拽的任务组件，分别是：开始、任务组、数据湖表任务、数仓表任务、分析模型任务。
- 开始：流程起点，用来设置整个流程的调度时间、频率，调度类型有两种：TIMER DRIVEN ：TIMER DRIVEN 输入框输入的为秒（只能输入数字）或 CRON DRIVEN ：自定义设置。
- 任务组：可以理解为任务的集合，可将多个任务（数据湖表任务、数仓表任务、分析模型任务）放在一个任务组里。
- 数据湖表任务：数据湖表对应数据接入中的物理表。
- 数仓表任务：数仓表对应数据建模中的物理表。
- 分析模型任务：分析模型对应数仓建模中分析指标模块中创建的表。
在左侧选中需要用到的组件拖拽到右侧的设计面板中。
连接管道，利用连接点连接管道活动，连接的顺序代表数据同步的顺序。
任务组件：
1.开始：
选择 CRON DRIVEN 点击自定义设计时间调度，弹出弹窗可自定义设计调度。
2.数据湖表任务
选中数据湖表任务，在左下角切换到数据表选项点击“＋”图标弹出需要同步数据的物理表供用户选择。
3.数仓表任务：
数仓表任务的操作流程和数据湖表任务的流程相同，唯一不同点在于数仓表任务把物理表分成了维度表和事实表两类；
4.分析模型任务
同2、3 。
3.3 保存&发布
数据同步流程设计好了之后点击右侧的“保存&发布”按钮既可，稍后会根据设计的流程后台自动生产数据同步的调度任务，根据设置的调度频率自行调用。如果是点击的“保存”按钮，那么只会保存设计的流程，不会在系统后台生成调度任务。
4. 查看数据调度日志
同步方式：提供追加、全量覆盖、业务主键覆盖和业务时间覆盖等四种同步方式
追加：每次同步的数据将以插入的方式追加的原来的表中
全量：每次同步时系统将清空原来的表，并重新插入
业务主键覆盖：系统将根据当前设定的业务主键进行数据覆盖
业务时间覆盖：系统将根据以下选择的条件先从表中删除满足条件的数据，然后重新从插入满足条件的数据
3.1.2 创建ftp驱动类型的应用
（1）选择ftp驱动类型，填写ftp服务器基本信息，测试连接，连接通过即可保存应用
（2） 创建物理表
1.新增一张物理表
2.选择新增的未命名表
3.选择本次需要同步的excel/csv文件
4.预览文件内容
5.选择本次同步数据的sheet页
6.进入字段映射页面
其他操作流程同mysql驱动类型创建物理表一致
3.1.3 创建API驱动类型的应用
(1) 创建API：点击页面“新增”，输入API基本信息，即可创建API
API名称：中英文名称皆可。
API地址：一般是API的访问地址。
请求方式：调用API时指定的请求方式。
JSON定义：API的JSON解析根节点定义。
（2）配置API请求方式
（3）配置API的JSON结构定义
名称：一般是表英文名称or字段英文名称
类型：字段类型
推送规则：一般是字段的推送规则描述，如字段不为空
推送示例：一般是API推送的测试数据，如设置了name字段推送示例为“上海”，在发布API的时候选择按照配置调用一次API，将name字段赋值“上海”
字段映射
比如配置的JSON结构为一主一从结构，那么字段映射页面就要配置两张表的字段
覆盖方式同时也需要配置多表
勾选选项，发布后，会根据配置调用一次API，并将API的数据推送到本平台中
3.1.4 使用非实时API
1.点击“开始”并配置，选择”数据湖表任务“→ 2.选择非实时API应用
3.点击”+“，添加API任务→ 4.选择具体的API，支持多API操作→5.指定到右边，方便调整API的调用顺序→ 6.保存API
7.保存并发布
管道的创建和基本使用在数据调度介绍文档。
3.2 创建实时应用
3.2.1 创建RestfulAPI驱动类型的应用
(1)创建API 及构建json结构同上述方法一致，本平台实时API没有配置API请求方式
(2) 使用实时API
点击生成文档，在文档中有详细的调用方式。
以postman为例：
1.复制pdf文档中获取临时token的接口地址；
2.获取当前应用的账号及密码；
3.使用postman，填写接口地址，填写请求参数的账号及密码，调用接口，获取临时token（有效期60min）；
4.查看pdf文档中推送数据的接口地址，在postman中填写地址，填写请求头信息，并将临时token写入请求头中；
5.根据pdf文档中的接口构造好需要推送的数据，调用接口即可，可也通过接口返回值查看接口的调用结果，也可以在数据接入首页应用查看日志。
4. 查看应用日志
