目 录
数据接入是我公司自主研发的一款数据接入工具，提供可视化的界面方便用户进行数据的接入，支持数据以全量、增量、业务主键覆盖等方式将数据同步到本平台中。
| 目录 |
|---|
|
|
|
|
|
1. 概述
数据接入是我公司自主研发的一款数据接入工具，提供可视化的界面方便用户进行数据的接入，支持数据以全量、增量、业务主键覆盖等方式将数据同步到本平台中。数仓建模功能提供可视化的界面，方便用户通过建模的方法更好的组织、存储数据，以便在性能、成本、效率和数据质量之间找到最佳平衡点
2. 界面概览
| 信息 | ||||
|---|---|---|---|---|
| ||||
|
| 信息 | ||||
|---|---|---|---|---|
| ||||
  |
| 信息 | ||||
|---|---|---|---|---|
| ||||
  |
| 信息 | ||||
|---|---|---|---|---|
| ||||
|
| 信息 | ||||
|---|---|---|---|---|
| ||||
|
| 信息 | ||||
|---|---|---|---|---|
| ||||
|
| |
|
| 信息 | ||||
|---|---|---|---|---|
| ||||
|
| 信息 | ||||
|---|---|---|---|---|
| ||||
|
| 信息 | ||||
|---|---|---|---|---|
| ||||
|
| 信息 | ||||
|---|---|---|---|---|
| ||||
|
| 信息 | ||||
|---|---|---|---|---|
| ||||
|
| 信息 | ||||
|---|---|---|---|---|
| ||||
|
| 信息 | ||||
|---|---|---|---|---|
| ||||
|
| 信息 | ||||
|---|---|---|---|---|
| ||||
|
| 信息 | ||||
|---|---|---|---|---|
| ||||
|
| 信息 | ||||
|---|---|---|---|---|
| ||||
|
| 信息 | ||||
|---|---|---|---|---|
| ||||
|
| 信息 | ||||
|---|---|---|---|---|
| ||||
|
3. 数仓建模
3.
1 创建非实时应用3.1.1-1创建mysql、sqlserver、oracle驱动类型的应用
创建应用： 点击添加，输入应用基本信息、联系人、驱动类型、服务器配置后，点击测试连接，连接通过，即可创建应用。
应用名称：一般是中文描述。
应用简称：一般是英文名称，类似数据库的架构名称。
应用负责人：一般是该系统的IT负责人，方便后续在数据接入的过程中，如果发现上游系统无法正常访问时，能够第一时间得到相应的帮助。
负责人邮箱：同应用负责人作用一样。
驱动类型：本平台支持的几种上游系统，如mysql、sqlserver、oracle、ftp文件系统、非实时api调用、RestfulAPI实时推送。
服务器配置：本平台同步数据时，用于连接上游系统的服务器基本信息
3.1.1-2 创建物理表
1.新增一张物理表；
2.选择刚才新增的未命名表；
3.在页面的SQL编辑器中输入业务SQL；
4.进入字段映射配置页面；
5.对字段进行配置；
6.进入覆盖方式页面；
7.选择同步数据的覆盖方式；
8.保存&发布物理表；
9.填写表基本信息（表名、表描述）；
10.发布。
数据类型：
- 文本：
- 存放文本类型数据。
- 设置长度。
- 整型：
- 存放数值类型，无小数类型。
- 时间戳：
- 存放时间类型数据。
- 浮点数：
- 存放小数类型数据。
- 设置精度。
- 字符串：
- 存放字符串类型数据。
- 设置长度。
同步方式：
- 追加：每次同步的数据将以插入的方式追加的原来的表中。
- 全量：每次同步时系统将清空原来的表，并重新插入。
- 业务主键覆盖：系统将根据当前设定的业务主键进行数据覆盖。
- 业务时间覆盖：系统将根据以下选择的条件先从表中删除满足条件的数据，然后重新从插入满足条件的数据。
3.1.2-1 创建ftp驱动类型的应用
选择ftp驱动类型，填写ftp服务器基本信息，测试连接，连接通过即可保存应用。
3.1.2-2 创建物理表
1.新增一张物理表；
2.选择刚才新增的未命名表；
3.选择本次需要同步的excel/csv文件；
4.预览文件内容；
5.选择本次同步数据的sheet页；
6.进入字段映射页面。
其他操作流程同mysql驱动类型创建物理表一致。
3.1.3-1 创建api驱动类型的应用
3.1.3-2 创建api
创建api：点击页面“新增”，输入api基本信息，即可创建api
API名称：一般是中文描述。
API地址：一般是api的访问地址。
请求方式：调用api时指定的请求方式。
json定义：api的json解析根节点定义。
3.1.3-3 配置api请求方式
3.1.3-4 配置api的json结构定义
名称：一般是表英文名称or字段英文名称。
类型：字段类型。
推送规则：一般是字段的推送规则描述，如字段不为空。
推送示例：一般是api推送的测试数据，如设置了name字段推送示例为“上海”，在发布api的时候选择按照配置调用一次api，将name字段赋值“上海”
字段映射
比如配置的json结构为一主一从结构，那么字段映射页面就要配置两张表的字段。
覆盖方式同时也需要配置多表。
勾选选项，发布后，会根据配置调用一次api，并将api的数据推送到本平台中。
3.2 创建实时应用
3.2.1-1 创建RestfulAPI驱动类型的应用
创建api及构建json结构同3.1.3-2、3.1.3-4一致，本平台实时api没有配置api请求方式
4. 查看应用日志
1 创建业务域
创建业务域： 点击添加，输入业务域基本信息，即可创建业务域
业务域名称：中英文名称皆可
业务需求负责人：该系统的IT负责人
管理员邮箱：该系统的IT负责人邮箱
3.2 操作数据仓库
3.2.1 创建维度文件夹
创建维度文件夹： 点击添加，输入基本信息，即可创建维度文件夹
名称：中英文名称皆可
所有业务域共享：开启业务域共享，意味着其他业务域也可以使用共享维度文件夹及其下面的所有维度表。反之，只能当前业务域允许使用
3.2.2 创建维度表
创建维度表： 点击添加，选择“使用现有表”，输入维度表基本信息，即可创建维度表
维度表名称：一般是英文名称
维度表中文名：一般是中文名称
3.2.3 创建日期维度表
创建日期维度表： 点击添加，选择“在数据源中生成时间表”，输入维度表基本信息，即可创建日期维度表
时间范围：用于生成时间范围的维度表
维度表名称：一般是英文名称
维度表中文名：一般是中文名称
3.2.4 维度表字段设置
1.选择新增的维度表右边的设置logo → 2.选择字段设置；
3.编写业务SQL → 4.进入字段映射
5.操作字段 → 6.进入覆盖方式
数据类型：
- 整型：
- 存放数值类型，无小数类型
- 日期类型：
- 存放日期类型数据。
- 精确数值型：
- 存放小数类型数据。
- 设置精度
- 字符串：
- 存放字符串类型数据。
- 设置长度
7.选择同步数据的覆盖方式 → 8.保存&发布维度表
9.填写本次发布描述 → 10.发布
同步方式：
- 追加：每次同步的数据将以插入的方式追加的原来的表中
- 全量：每次同步时系统将清空原来的表，并重新插入
- 业务主键覆盖：系统将根据当前设定的业务主键进行数据覆盖
- 业务时间覆盖：系统将根据以下选择的条件先从表中删除满足条件的数据，然后重新从插入满足条件的数据
3.2.5 创建业务过程文件夹
点击添加，输入基本信息，即可创建业务过程文件夹
名称：中英文名称皆可
3.2.6 创建事实表
创建事实表： 点击添加，输入事实表基本信息，即可创建事实表
事实表名：一般是英文名称
事实表中文名：一般是中文名称
3.2.7 事实表字段设置
1.选择新增的事实表右边的设置logo → 2.选择字段设置
3.编写业务SQ L→ 4.进入字段映射
5.添加字段：
(1)选择字段的属性类型，其中退化维度和度量字段配置一样；
(2)设置字段的其他属性
(3)保存当前字段设置
其他操作同3.4维度表字段设置一致
3.3 操作分析指标
3.3.1 分析指标维度表
3.3.2 创建原子指标
1.添加事实表的原子指标 → 2.填写原子指标的基本信息 → 3.保存基本信息
4.选择配置公式模式 → 5.选择具体的度量字段，配置聚合类型 →6.保存所有配置
聚合类型 说明：
1. SUM：求和，多行的 Value 进行累加
2. REPLACE：替代，下一批数据中的 Value 会替换之前导入过的行中的 Value
3. MAX：保留最大值
4. MIN：保留最小值
7.选择需要发布的事实表 → 8.选择发布按钮 → 9.填写本次发布的描述 → 10.发布
3.3.3 创建派生指标
1.添加事实表的派生指标 → 2.填写派生指标的基本信息 → 3.保存基本信息
4.选择配置公式模式 → 5.选择普通公式or自定义公式 → 6.配置公式
其他发布操作同3.3.2一样
3.3.4 创建业务限定
1.添加事实表的业务限定 → 2.填写业务限定的基本信息 → 3.保存基本信息；
4.添加限定逻辑 → 5.下拉选择需要限定的字段 → 6.选择字段的限定逻辑：等于、大于、小于、包含 → 7.选择字段的筛选条件 → 8.保存所有配置
其他发布操作同3.3.2一样。
3.3.5 创建宽表
1.添加宽表
2.填写宽表名称，一般是英文名称
3.从左边维度or事实中拖拽多张表到中间的编辑框
4.设置连接关系：内连接、左连接、右连接、全连接、联合
5.执行多表的连接关系
6.保存所有配置
其他发布操作同3.3.2一样
