数据全生命周期
备份需要从业务系统中获取数据,统计、分析需要从业务系统中获取数据,研发、测试需要从业务系统中获取数据。这些数据从业务系统中拷贝出来后,如果得不到有效的管控,将会给企业带来安全隐患,这也是用户需要考虑解决的又一现实问题。基于上述问题的考虑,I T负责人迫切需要一种既可以解放业务系统,又可以对测试环境数据的采集、传输、存储、使用及流转等关键环节进行效率和安全双重保障的平台化产品,由此上讯敏捷数据管理平台ADM应运而生。上讯ADM产品采用副本数据管理CDM面向数据全生命周期进行数据安全管理。数据全生命周期
上讯敏捷数据管理平台(ADM)支持并行重删技术,通过在多个不同的节点上构建指纹库,并将指纹并行分布于多个节点,采用内存级指纹库进行重删,所有指纹读写全部保存于内存中,从而提升指纹查询和处理效率,并且减少了因磁盘中指纹库增大所导致的随机IO压力。以此识别并消除数据备份过程中数据源中重复的数据,该技术适用于不同平台中的文件、数据库、虚拟机等不同应用类型的数据,可以大幅度减少需要传输的数据量,从而极大地节省数据传输带宽,解决单点性能和存储空间压力。仿真度高信息敏捷数据管理平台ADM包括生产数据备份、备份恢复校验、敏感数据处理、数据副本管理四大功能模块。
通过敏捷数据管理平台ADM产品的部署实施,采用数据库虚拟化技术,快速将数据交付到开发、测试网,有效减少开发、测试场景中测试数据的准备时间,提高了开发、测试环境搭建的效率。ADM内置独有的高效压缩存储池,平均压缩比3:1,存储即压缩,降低了基础数据源获取的存储成本,只需一份基础数据源,即可快速拉起多份虚拟数据库,节约了存储成本10倍以上。ADM通过虚拟数据库快照功能,可以灵活地对虚拟数据库的状态进行管理和维护。使用人员可以随时保存当前的数据库使用状态,用于开发、测试的数据版本迭代。
l数据库数据保护ADM采用图形化向导式操作,无需用户手动执行备份和恢复脚本,简化了备份恢复的难度。既支持传统的无挂载备份,也支持***全量备份、后续长久增量备份与全量快照合成、事务日志同步相结合的方式。数据库备份的基本流程如下:通过管理控制中心(Master)的Web管理页面推送客户端(Client)软件到需要保护的生产服务器上,自动完成客户端软件的安装和注册,与Server服务器端保持通讯。客户端将识别生产服务器中的数据库数据,并通过备份API读取数据库数据,然后将其传输至数据服务节点完成备份。管理控制中心(Master)负责向客户端软件和服务节点发送控制信息,管理整个备份任务的运行。例如:Oracle数据库采用RMAN接口进行多通道并行备份,备份粒度支持整个实例备份,恢复粒度支持细化到选定表恢复。上讯信息敏捷数据管理平台ADM是创新型数据备份管理解决方案。
数据分钟级提供,提升数据交付效率缩短开发周期通过部署ADM几分钟内即可创建一个数据量TB级别的虚拟数据库,进而,快速将测试数据传输到下游的开发测试环境,无需繁琐冗长的审核和等待,这一过程有效减少了下游开发测试场景中测试数据的准备时间,通常从以天计算缩短到以小时计算,时间效率提升明显,**缩短了开发测试时间,进而缩短产品的发布周期。(5)敏感数据定义识别与仿真***,保障数据流转环节的安全性通过智能定义敏感数据类型,自动发现和识别敏感数据,包括数据类型、内容、约束关系,灵活排序减少人为筛选,***精细定位敏感数据源。丰富的***算法与仿真的字典库相结合,保证***后数据仍具有业务属性,数据表间关系仍具有业务一致性,不影响数据挖掘分析数据价值。对涉及企业、个人信息的隐私数据,包括资金财产、个人、企业隐私的对照关系进行敏感数据识别,通过内置的***规则进行***处理,将数据敏感部分去隐私化,但并不失去数据挖掘的价值特征,减少数据隐私泄露带来的风险和损失,甚至降低可能发生的人身伤害和违法犯罪事件。上讯ADM产品的高效性体现在数据从上游生产环境到下游使用环境通过虚拟副本创建实现分钟级交付。创建虚拟库
上讯敏捷数据管理平台ADM产品数据库虚拟化技术是什么意思?数据全生命周期
上讯敏捷数据管理平台ADM功能支持自适应源端的全局重删算法与策略,支持任务级与全局指纹库;针对文件备份提供文件粒度与块级粒度的全域重删且支持重删指纹库重建功能,支持多线程文件备份,支持海量小文件场景下的聚合策略,提供并行扫描和高速索引,从而减少需要备份的数据量、缩短备份窗口、节省备份数据传输所消耗的网络带宽以及节约备份数据存储空间;备份传输过程采用压缩加密处理,缓解网络传输的压力,增加网络抖动或短时间断链的超时容错机制,确保备份数据的安全。数据全生命周期