原始数据格式
上讯敏捷数据管理平台ADM功能支持自适应源端的全局重删算法与策略,支持任务级与全局指纹库;针对文件备份提供文件粒度与块级粒度的全域重删且支持重删指纹库重建功能,支持多线程文件备份,支持海量小文件场景下的聚合策略,提供并行扫描和高速索引,从而减少需要备份的数据量、缩短备份窗口、节省备份数据传输所消耗的网络带宽以及节约备份数据存储空间;备份传输过程采用压缩加密处理,缓解网络传输的压力,增加网络抖动或短时间断链的超时容错机制,确保备份数据的安全。上讯敏捷数据管理平台ADM产品能对接NBU自动恢复。原始数据格式
ADM敏捷数据管理平台产品是一款企业级CDM产品,通过以数据为中心,以安全为前提,以使用为导向,以敏捷为目的的产品理念,为企业提供一套面向上中下游数据高效使用与安全管控的数据安全治理解决方案。该解决方案在保证数据安全使用的前提下,可有力提高数据使用效率、降低数据存储成本。ADM产品可帮助企业解决数据开发利用需求下,数据使用流转环节遇到的安全性和效率问题,为企业的数据使用和管理建立了一套闭环式的数据安全流转体系,为数据安全治理提供技术支撑.数据使用区域数据安全领域的CDM是指copy data management。
敏捷数据管理平台(Agile Data Management)简称ADM,是采用基于CDM(副本数据管理)的数据库虚拟化技术,为企业上中下游数据的备份恢复、数据验证、敏感数据处理、分发交付提供的面向数据全生命周期的安全管理解决方案,在保证数据安全使用的同时,提高了数据使用效率并降低了数据存储成本。ADM由数据备份管理、备份校验管理、数据副本管理、敏感数据处理管理组成,实现了数据复制容灾、数据存储管理和数据流程管理,通过自动化流程任务编排的方式实现了数据使用的成本控制、版本管理与开发利用,能够充分发挥了数据资产的潜在价值。
数据备份面临存储成本高的问题,ADM采用内置高效的压缩存储池存放数据,压缩比约为3:1,存储即压缩,降低了备份数据的存储成本;其次,通过ADM的数据库虚拟化技术,一份基础数据即可快速拉起多份虚拟数据库,由于虚拟数据库90%的数据均与原始数据相同,因此拉起时几乎不占用额外的物理存储空间,只对新增的写操作计入容量占用,因此,随着数据分发使用的场景和频率增加,虚拟库的数量越来越多,而存储成本将会呈倍数级节约,例如针对同一份数据创建N个虚拟库,传统方法需要N倍的存储空间占用,而通过ADM只需要占用近乎0TB的存储空间,节约了数据存储环节的资源和成本。上讯信息敏捷数据管理平台ADM产品的数据备份模块通过虚拟挂载恢复可快速检验备份数据的可用性和有效性。
上讯信息敏捷数据管理平台的备份数据管理模块,突破了传统备份理念,基于特有的CDM数据库虚拟化技术,不仅可以实现对数据库的实时性持续备份以及本机、异机的快速恢复,还可以同时对备份数据的有效性进行验证。对于已经部署了NBU/CommVault等备份系统的用户,可以对接备份系统,实现存储空间、恢复服务器和恢复任务的自动调度,从而实现备份数据有效性验证的全自动化,并根据验证结果生成详细的恢复验证报告。在恢复验证任务结束后,自动清理恢复环境,释放存储资源和恢复服务器资源,以用于下一个恢复验证任务的使用,使整个数据备份恢复验证工作能够周期性地循环运转.上讯敏捷数据管理平台ADM产品虚拟数据支持无限副本,几乎不占用额外的存储空间。对系统的配置管理
上讯ADM产品是集数据备份管理、备份校验管理、数据副本管理、数据脱敏管理四位一体的数据管理产品。原始数据格式
在典型的重复数据删除技术中,根据不同的数据备份场景选择适合的重删策略与粒度方案。在确定重删策略与粒度后,会根据输入侧不同粒度(卷级、文件级、块级)的数据采取不同的数据切分策略,并依据任务级与全局指纹库提供自适应源端的全局重删算法与策略,当前支持源端块级、文件级重删和并行重删技术。源端重删是采用基于内容的可变长数据切分算法,通过对数据块进行哈希算法的***标记,即指纹(Fingerprint),在指纹库中寻找相同的指纹。如果存在相同指纹,则表示已保存了相同的数据块,ADM则不再保存此数据块,而是引用已存在的数据块,从而节省更多的备份空间。该算法还可以智能识别已修改的数据和未修改的数据,从而避免因修改数据位移而导致的未修改数据切分到新数据块中的问题,比较大限度地提升重删性能和重删率,为避免数据备份过程中冗余网络传输与存储开销,在源端设置粗粒度前置数据校验可以明显缩小备份传输过程中的数据冗余,目的在于不备份任意一个冗余数据。原始数据格式