数据治理

数据资源可视化管理，有效满足上中下游数据的政策合规ADM平台具备根据管理人员、测试需求等内容的不同进行分组划分的功能，将***过的数据进行分组管理，从下游测试数据管理的源头管控数据资源的类别，做到从源头划分类别，使下游测试数据管理形成上游数据源----中游数据中转----下游数据目标的闭环式数据使用流程，规范化的数据流程使数据管理者成为数据的负责人，自动化的资源管理也更有效地为金融行业用户提供安全的数据管理方案。同时，ADM提供对数据流转的树状拓扑结构图，可详细了解数据的来源、所属存储池、挂载的测试服务器，以及数据快照的层级关系，方便对系统全局的数据使用结构进行预览，通过可视化的结构拓扑图，**帮助用户了解下游测试网中测试数据的归属关系，完善数据流转路径，优化数据资源的合理分配，可视化功能的动态展示将助力企业向着智能化数据安全治理的方向转型。副本数据管理CDM产品能针对开发测试场景快速提供测试数据。数据治理

ADM产品数据安全***ADM平台支持静态数据脱敏（涉及数据库、格式化文件、数据库对象、消息队列等），内置104条***算法、47条敏感信息类型匹配库，覆盖个人身份信息、组织机构信息、资质资格证信息、金融数据信息、医疗数据信息、车辆数据信息等众多类别的敏感数据类型识别与仿真***。具备广义的通用型***规则，包括字符替换、随机生成、截短、加权生成、加密等；支持保留原有数据含义的仿真型***规则，支持中文字典库与编码字典库，保证姓名、身份证号、证件号、地址、组织机构代码等***后数据的有效性、可用性。提供基于数据库的库内***和基于ETL的抽取***，提供文件***添加水印功能，提供国产化操作系统的加密算法，满足用户多种***需求。快照机制上讯敏捷数据管理平台ADM产品能对接NBU直接恢复。

数据分钟级提供，提升数据交付效率缩短开发周期通过部署ADM几分钟内即可创建一个数据量TB级别的虚拟数据库，进而，快速将测试数据传输到下游的开发测试环境，无需繁琐冗长的审核和等待，这一过程有效减少了下游开发测试场景中测试数据的准备时间，通常从以天计算缩短到以小时计算，时间效率提升明显，**缩短了开发测试时间，进而缩短产品的发布周期。（5）敏感数据定义识别与仿真***，保障数据流转环节的安全性通过智能定义敏感数据类型，自动发现和识别敏感数据，包括数据类型、内容、约束关系，灵活排序减少人为筛选，***精细定位敏感数据源。丰富的***算法与仿真的字典库相结合，保证***后数据仍具有业务属性，数据表间关系仍具有业务一致性，不影响数据挖掘分析数据价值。对涉及企业、个人信息的隐私数据，包括资金财产、个人、企业隐私的对照关系进行敏感数据识别，通过内置的***规则进行***处理，将数据敏感部分去隐私化，但并不失去数据挖掘的价值特征，减少数据隐私泄露带来的风险和损失，甚至降低可能发生的人身伤害和违法犯罪事件。

上讯敏捷数据管理平台（ADM）支持重复数据删除技术，在典型的重复数据删除技术中，根据不同的数据备份场景选择适合的重删策略与粒度方案。在确定重删策略与粒度后，会根据输入侧不同粒度（卷级、文件级、块级）的数据采取不同的数据切分策略，并依据任务级与全局指纹库提供自适应源端的全局重删算法与策略，当前支持源端块级、文件级重删和并行重删技术。源端重删是采用基于内容的可变长数据切分算法，通过对数据块进行哈希算法的标记，即指纹（Fingerprint），在指纹库中寻找相同的指纹。如果存在相同指纹，则表示已保存了相同的数据块，ADM则不再保存此数据块，而是引用已存在的数据块，从而节省更多的备份空间。该算法还可以智能识别已修改的数据和未修改的数据，从而避免因修改数据位移而导致的未修改数据切分到新数据块中的问题，较大限度地提升重删性能和重删率，为避免数据备份过程中冗余网络传输与存储开销，在源端设置粗粒度前置数据校验可以明显缩小备份传输过程中的数据冗余，目的在于不备份任意一个冗余数据。上讯ADM产品采用副本数据管理CDM面向数据全生命周期进行数据安全管理。

l数据库数据保护ADM采用图形化向导式操作，无需用户手动执行备份和恢复脚本，简化了备份恢复的难度。既支持传统的无挂载备份，也支持***全量备份、后续长久增量备份与全量快照合成、事务日志同步相结合的方式。数据库备份的基本流程如下：通过管理控制中心（Master）的Web管理页面推送客户端（Client）软件到需要保护的生产服务器上，自动完成客户端软件的安装和注册，与Server服务器端保持通讯。客户端将识别生产服务器中的数据库数据，并通过备份API读取数据库数据，然后将其传输至数据服务节点完成备份。管理控制中心（Master）负责向客户端软件和服务节点发送控制信息，管理整个备份任务的运行。例如：Oracle数据库采用RMAN接口进行多通道并行备份，备份粒度支持整个实例备份，恢复粒度支持细化到选定表恢复。上讯敏捷数据管理平台ADM产品可对数据进行清洗漂白处理，保证隐私数据信息安全。新一代数据备份管理解决方案

上讯ADM产品通过虚拟数据秒级分发功能实现测试数据的同时在线交付，缩短了数据交付的时间。数据治理

管理控制中心（Master）是ADM的集中管理和调度控制中心，是进行可视化管理的Web操作平台。它负责集中管理ADM中的所有模块组件，系统管理员、安全管理员、操作员通过管理控制中心的Web管理页面协调并执行各个角色对应的操作；数据服务节点（CDMServer）是提供数据备份与恢复、备份数据恢复验证、副本数据创建和交付、数据复制容灾功能的服务节点。用于记录数据服务任务的配置信息、存储情况、历史记录等，数据服务节点统一通过MasterIP访问；***服务节点（SDMServer）是提供数据脱敏的服务节点，用于记录接入平台的敏感数据源、数据脱敏策略、***任务记录等信息，***服务节点统一通过MasterIP访问。客户端（Client）*针对数据服务节点（CDMServer）需要保护及管理的生产服务器、目标服务器，如物理服务器、虚拟机等都统称为客户端。为方便与管理控制中心进行网络通信和数据传输，一般会在客户端上安装客户端软件。客户端软件负责响应管理控制中心（Master）的命令，执行数据备份和恢复等指令。客户端软件可通过管理控制中心（Master）进行Web页面的推送安装与注册。***服务节点（SDMServer）无需安装客户端软件。数据治理