了解数据服务了解数据质量
了解数据质量
数据服务是我司自主研发的一款数据消费工具,提供可视化的服务配置界面,搭建统一的数据服务总线,帮助企业提升数据资产的价值,同时保证了数据的可靠性、安全性和有效性。FiData数据质量模块中质量规则的建立保障了数据工厂中流入流出的数据都能按照规则运行,对不符合规则的数据从而进行定性以及定量的清洗,最大程度保证数据准确性。
| 目录 |
|---|
| View file | ||||
|---|---|---|---|---|
|
1. 概述
数据服务是我司自主研发的一款数据消费工具,提供可视化的服务配置界面,搭建统一的数据服务总线,帮助企业提升数据资产的价值,同时保证了数据的可靠性、安全性和有效性。FiData数据质量模块中质量规则的建立保障了数据工厂中流入流出的数据都能按照规则运行,对不符合规则的数据从而进行定性以及定量的清洗,最大程度保证数据准确性。
2. 界面概览
| 信息 | ||
|---|---|---|
|
| 信息 | |
|---|---|
|
|
3.
创建应用(下游系统)3.1 创建应用
添加应用: 添写基本信息后确定,会在页面新增一条数据。
服务配置:点击进入服务配置页面,配置API服务
3.2 应用API服务订阅
点击应用进入API服务订阅界面,正文列表展示的是手动订阅过的API,右侧展示的是应用账号信息。
- 引入API:弹出API服务页面,勾选需要的API服务点击确定,会在正文列表看到最新订阅的API信息,如需取消订阅可直接将启用状态切成禁用或在引入API时取消已勾选的API服务。
- 启用/禁用:对应用下已订阅的API进行启用/禁用,禁用状态下的API服务在下游客户端不可访问。
- 参数配置:API服务内置参数配置,参数来源于该API的请求参数配置。可控制API的某些请求参数中是否体现在生成的API文档中,从而控制下游客户端调用时是否可见该参数。
- 生成文档:生成API服务的pdf版本的调用示例文档,默认在网页下以预览状态打开,支持在线下载以及联机打印。文档中含API入参出参信息、全局状态码信息、API调用示例信息,调用示例包含JAVA/.NET版本。
1.引入API页面
2.参数配置页面
3.生成文档案例(部分截图)
4. 创建API服务数据源
创建数据源
| 信息 | ||
|---|---|---|
| ||
| 信息 | ||
|---|---|---|
| ||
5
4.
创建API服务配置数据质量规则
54.1 界面描述
- 搜索符合条件的API。数据源元数据Tree。
- 新增API。搜索数据源节点。
- API列表。全局搜索规则。调用此API产生的调用日志。
- 数据校验:配置表、字段的校验规则。
- 业务清洗:配置表数据的清洗规则。
- 回收周期:配置表的回收规则。
- 告警设置:配置通知方式,邮件/站内
- 邮件服务器设置:邮件通知的服务器配置
5
4.2
配置API配置数据校验
1.点击右上角加号按钮新增API,弹出数据源选择窗口,选择数据源点击确定自动进入到API配置页面
2.API配置页面--配置普通API
- 选择配置的API类型,选择普通API,普通API为单表查询。
- 根据选择的数据源加载数据源Tree,Tree展示的内容为数据源的元数据信息。
- 配置API执行的SQL脚本,配置方式为拖拽左侧Tree上面某张表下面的字段。
- 配置API请求参数,配置方式为拖拽左侧Tree上面某张表下面的字段。
- 配置输入参数,输入参数即API请求参数,拖拽字段到第四步时,输入参数列表自动渲染加载出当前拖拽的字段,根据业务需求填写参数描述以及参数值。
- 删除配置参数,删除配置参数时,对应第四步展示的字段也会自动删除,删除后API的查询结果将不受此参数条件限制。
- 执行:执行当前配置的API并返回前10条数据进行预览。停止:中断上一次执行过程。
- 执行预览结果,执行成功后展示前10条数据进行预览。
- 保存,保存此API配置并在API列表中加载出刚配置的API。
3.API配置页面–配置自定义API
- 选择配置的API类型,选择自定义API,自定义API可单表可多表联合查询。
- 根据选择的数据源加载数据源Tree,Tree展示的内容为数据源的元数据信息。
- 配置API执行的SQL脚本,配置方式为拖拽左侧Tree上面某张表下面的字段或手动输入。
- 手动输入时支持使用表名或表别名点出该表下的字段。
- 配置输入参数,输入参数即API请求参数。
- 配置API请求参数,点击加号下方表格会新增一行,根据业务需求填写参数名称、参数描述以及参数值。
- 删除配置参数,删除后API的查询结果将不受此参数条件限制。
- 执行:执行当前配置的API并返回前10条数据进行预览。停止:中断上一次执行过程。
- 执行预览结果,执行成功后展示前10条数据进行预览。
- 保存,保存此API配置并在API列表中加载出刚配置的API。
6. API服务调用日志
- 日志入口1:应用页面点击日志图表,查看该应用下的API调用日志情况。
- 日志入口2:API列表页面点击日志图标,查看该API的调入日志情况。新增数据校验规则。
- 编辑数据校验规则。
- 启用/禁用数据校验规则。
- 删除数据校验规则。
- 启用禁用数据校验规则。
- 选择校验场景。
- 选择校验模板,不同的场景下对应各自的模板。
- 强规则:校验不通过熔断数据流,终止后续操作,弱规则:校验不通过不熔断数据流,后续操作任然允许进行。
- 确定:保存校验规则
4.3 检验场景与模板
| 模块 | 应用场景 | 模板名称 | 模板描述 |
| 数据校验 | 页面校验(web) | 字段校验模板 | 验证传入字段参数值是否合法,支持长度、非空、唯一、日期格式、序列范围 |
| 相似度对比模板 | 验证传入字段参数值的相似度比例,ods中验证 | ||
| 同步校验(stg) | 字段校验模板 | 验证数据在stg进入ods之前技术规则验证,确保进入的数据不违反数据库的存储规则,支持唯一、长度、非空、日期格式、序列范围 | |
| 质量报告(ods/mdm/dw) | 业务校验模板 | 自定义验证脚本,验证ods中表数据是否符合技术规则,并将验证结果形成excel报告邮件发出,比如查询年龄大于18周岁的用户 | |
| 字段聚合波动阀值模板 | 设置字段的聚合属性以及波动阈值,当超过或等于时,发送邮件提醒 | ||
| 表行数波动阀值模板 | 基于更新依据字段设置表行数的波动阈值,当超过或等于时,发送邮件提醒 | ||
| 空表校验模板 | 检查表是否为空,当为空时,发送邮件提醒 | ||
| 表更新校验模板 | 基于更新依据字段检查表数据是否存在更新,当存在时,发送邮件提醒 | ||
| 表血缘断裂校验模板 | 检查表上下游血缘是否断裂(数据管理服务中能查询到此表,否则不可选中此模板),当断裂时,发送邮件提醒 |




















