数仓建模介绍1.0

1.  概述

数仓建模是我公司自主研发的一款数仓建模工具，提供可视化的界面方便用户通过建模的方法更好的组织、存储数据，以便在性能、成本、效率和数据质量之间找到最佳平衡点。

2. 界面概览

3. 数据仓库

3.1 创建业务域

创建业务域： 点击添加，输入业务域基本信息，即可创建业务域。

业务域名称：一般是中文描述。

业务需求负责人：一般是该系统的IT负责人。

管理员邮箱：一般是该系统的IT负责人邮箱。

3.2 创建维度文件夹

创建维度文件夹： 点击添加，输入基本信息，即可创建维度文件夹。

名称：一般是中文描述。

所有业务域共享：开启业务域共享，意味着其他业务域也可以使用共享维度文件夹及其下面的所有维度表。反之，只能当前业务域允许使用。

3.3 创建维度表

创建维度表： 点击添加，选择创建的维度表类型，输入维度表基本信息，即可创建维度表。

维度表名称：一般是英文名称。

维度表中文名：一般是中文描述。

3.4 维度表字段设置

数据类型：

• 文本：
  • 存放文本类型数据。
  • 设置长度。
• 整型：
  • 存放数值类型，无小数类型。
• 时间戳：
  • 存放时间类型数据。
• 浮点数：
  • 存放小数类型数据。
  • 设置精度。
• 字符串：
  • 存放字符串类型数据。
  • 设置长度。

同步方式：

• 追加：每次同步的数据将以插入的方式追加的原来的表中。
• 全量：每次同步时系统将清空原来的表，并重新插入。
• 业务主键覆盖：系统将根据当前设定的业务主键进行数据覆盖。
• 业务时间覆盖：系统将根据以下选择的条件先从表中删除满足条件的数据，然后重新从插入满足条件的数据。

3.1.2-1 创建ftp驱动类型的应用

选择ftp驱动类型，填写ftp服务器基本信息，测试连接，连接通过即可保存应用。

3.1.2-2 创建物理表

1.新增一张物理表；

2.选择刚才新增的未命名表；

3.选择本次需要同步的excel/csv文件；

4.预览文件内容；

5.选择本次同步数据的sheet页；

6.进入字段映射页面。

其他操作流程同mysql驱动类型创建物理表一致。

3.1.3-1 创建api驱动类型的应用

3.1.3-2 创建api

创建api：点击页面“新增”，输入api基本信息，即可创建api

API名称：一般是中文描述。

API地址：一般是api的访问地址。

请求方式：调用api时指定的请求方式。

json定义：api的json解析根节点定义。

3.1.3-3 配置api请求方式

3.1.3-4 配置api的json结构定义

名称：一般是表英文名称or字段英文名称。

类型：字段类型。

推送规则：一般是字段的推送规则描述，如字段不为空。

推送示例：一般是api推送的测试数据，如设置了name字段推送示例为“上海”，在发布api的时候选择按照配置调用一次api，将name字段赋值“上海”

字段映射

比如配置的json结构为一主一从结构，那么字段映射页面就要配置两张表的字段。

覆盖方式同时也需要配置多表。

勾选选项，发布后，会根据配置调用一次api，并将api的数据推送到本平台中。

3.2 创建实时应用

3.2.1-1 创建RestfulAPI驱动类型的应用

创建api及构建json结构同3.1.3-2、3.1.3-4一致，本平台实时api没有配置api请求方式

4. 查看应用日志