页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。

了解数据安全(灯泡灭)

数据安全是我公司自主研发的一款数据接入工具,提供可视化的界面方便用户进行数据的接入,支持数据以全量、增量、业务主键覆盖等方式将数据同步到本平台中。数据安全是FiData为方便用户进行数据的脱敏,以及配置表、行、列级的权限控制等操作自主研发的一款数据安全工具。。

目录

View file
name了解数据调度.mp4
height250




1.  概述(灯泡灭)


数据接入是我公司自主研发的一款数据接入工具,提供可视化的界面方便用户进行数据的接入,支持数据以全量、增量、业务主键覆盖等方式将数据同步到本平台中。数据安全是FiData为方便用户进行数据的脱敏,以及配置表、行、列级的权限控制等操作自主研发的一款数据安全工具。

2. 界面概览(灯泡灭)



信息
title入口

Image RemovedImage Added



信息
title物理表页面用户组管理
Image RemovedImage Added



信息
titleFTP页面数据脱敏
Image RemovedImage Added



信息
titleAPI页面表级安全

Image RemovedImage Added



信息
title字段映射行级安全

Image RemovedImage Added



信息
title覆盖方式列级安全

Image RemovedImage Added


3.

数据接入

数据安全light-off (off)


3.

1 创建非实时应用
3.1.1-1创建mysql、sqlserver、oracle驱动类型的应用

Image Removed

Image Removed

Image Removed

创建应用: 点击添加,输入应用基本信息、联系人、驱动类型、服务器配置后,点击测试连接,连接通过,即可创建应用。

应用名称:中英文名称皆可。

应用简称:一般是英文名称,类似数据库的架构名称。

应用负责人:一般是该系统的IT负责人,方便后续在数据接入的过程中,如果发现上游系统无法正常访问时,能够第一时间得到相应的帮助。

负责人邮箱:同应用负责人作用一样。

驱动类型:本平台支持的几种上游系统,如mysql、sqlserver、oracle、ftp文件系统、非实时api调用、RestfulAPI实时推送。

服务器配置:本平台同步数据时,用于连接上游系统的服务器基本信息

3.1.1-2 创建物理表

Image Removed

Image Removed

Image Removed

Image Removed

Image Removed

1.新增一张物理表;

2.选择刚才新增的未命名表;

3.在页面的SQL编辑器中输入业务SQL;

4.进入字段映射配置页面;

5.对字段进行配置;

6.进入覆盖方式页面;

7.选择同步数据的覆盖方式;

8.保存&发布物理表;

9.填写表基本信息(表名、表描述);

10.发布。

数据类型:

  • 文本:
    • 存放文本类型数据。
    • 设置长度。
  • 整型:
    • 存放数值类型,无小数类型。
  • 时间戳:
    • 存放时间类型数据。
  • 浮点数:
    • 存放小数类型数据。
    • 设置精度。
  • 字符串:
    • 存放字符串类型数据。
    • 设置长度。

同步方式:

Image Removed

Image Removed

Image Removed

Image Removed

  • 追加:每次同步的数据将以插入的方式追加的原来的表中。
  • 全量:每次同步时系统将清空原来的表,并重新插入。
  • 业务主键覆盖:系统将根据当前设定的业务主键进行数据覆盖。
  • 业务时间覆盖:系统将根据以下选择的条件先从表中删除满足条件的数据,然后重新从插入满足条件的数据。
3.1.2-1 创建ftp驱动类型的应用

Image Removed

选择ftp驱动类型,填写ftp服务器基本信息,测试连接,连接通过即可保存应用。

3.1.2-2 创建物理表

Image Removed

1.新增一张物理表;

2.选择刚才新增的未命名表;

3.选择本次需要同步的excel/csv文件;

4.预览文件内容;

5.选择本次同步数据的sheet页;

6.进入字段映射页面。

其他操作流程同mysql驱动类型创建物理表一致。

3.1.3-1 创建api驱动类型的应用

Image Removed

3.1.3-2 创建api

Image Removed

创建api:点击页面“新增”,输入api基本信息,即可创建api

API名称:中英文名称皆可。

API地址:一般是api的访问地址。

请求方式:调用api时指定的请求方式。

json定义:api的json解析根节点定义。

3.1.3-3 配置api请求方式

Image Removed

3.1.3-4 配置api的json结构定义

Image Removed

Image Removed

名称:一般是表英文名称or字段英文名称。

类型:字段类型。

推送规则:一般是字段的推送规则描述,如字段不为空。

推送示例:一般是api推送的测试数据,如设置了name字段推送示例为“上海”,在发布api的时候选择按照配置调用一次api,将name字段赋值“上海”

字段映射

Image Removed

比如配置的json结构为一主一从结构,那么字段映射页面就要配置两张表的字段。

Image Removed

覆盖方式同时也需要配置多表。

Image Removed

Image Removed

勾选选项,发布后,会根据配置调用一次api,并将api的数据推送到本平台中。

3.2 创建实时应用

3.2.1-1 创建RestfulAPI驱动类型的应用

Image Removed

创建api及构建json结构同3.1.3-2、3.1.3-4一致,本平台实时api没有配置api请求方式

4. 查看应用日志(灯泡灭)

Image RemovedImage Removed

1 创建用户组

Image Added

创建用户组:选择用户组管理,点击”添加“,填写用户组的基本信息,保存即可。

名称:中英文皆可。

3.2 用户组分配用户

Image Added

1.选择具体的用户组;

2.勾选分配到用户;

3.保存。

3.3 数据脱敏

Image Added

元数据对象:用户通过在数据工厂中,通过数据接入和数仓建模一系列操作生成的表。

数据脱敏:对表进行字段的脱敏操作。

请选择:元数据对象选择的表的字段。

保留文本:如保留手机号前3位,后面用****代替。这时”13000009387“就脱敏成”130****“。

值加密:通过对称加密或非对称加密操作,对字段的值进行加密操作。如密码”123456“加密成”49ba59abbe56e057“。

启用按钮:决定当前配置是否生效。

3.4 表级安全

Image Added

1.选择具体的表;

2.选择表级安全操作;

3.添加;

4.配置基本信息并保存。


缺省配置:配置当前表的数据是否可读或不可读。

访问类型:用户或用户组类型。

名称:具体的用户名或用户组名。

访问权限:即当前用户或用户组对表的权限操作,编辑、只读、导入、导出。

操作:删除或保存当前配置。

3.5 行级权限

Image Added

1.选择具体的表;

2.选择行级安全操作;

3.添加;

4.配置基本信息;

5.配置访问权限;

6.保存。


缺省配置:配置当前行的数据是否可读或不可读。

权限名称:一般是中文名称。

过滤条件:类似navicat的过滤功能,如【name like ”张三“ or id=1】。

访问类型:用户或用户组类型。

名称:具体的用户名或用户组名。

访问权限:即当前用户或用户组对表的权限操作,编辑、只读。

操作:删除当前配置。

3.6 列级安全

Image Added

1.选择具体的表;

2.选择列级安全操作;

3.添加;

4.配置基本信息;

5.添加访问权限;

6.配置访问权限;

7.保存。


缺省配置:配置当前行的数据是否可读或不可读。

权限名称:一般是中文名称。

过滤条件:类似navicat的过滤功能,如【name like ”张三“ or id=1】。

访问类型:用户或用户组类型。

名称:具体的用户名或用户组名。

访问权限:即当前用户或用户组对表的权限操作,只读、禁止访问。

操作:删除当前配置。