做一事恒心 成一事辉煌

当前位置: 首页> 产品介绍>恒辉数据移植平台

恒辉数据移植平台

数据库迁移

一、引言

       当面临着迁移到新的存储平台或多个环境整合时,那些已然过时的、被废弃的和年代久远的数据的迁移工作无疑是相当复杂,且不环保的过程。
       数据中心的迁移和合并工作任务是一种常见发生的情况,特别是当前数据中心正以平均每年40%至60%的速度增长的情况之下,这使得我们的数据中心管理人员们必须面临三种选择:提升数据中心的容量;将数据迁移到成本较低的存储环境;或整合数据中心的环境。


二、数据中心迁移整合方法

       数据分析是针对非结构化的用户文件的元数据进行分析。数据分析通过提取关键元数据,能够带来高效且符合成本效益的指标(通过NFS/CIFS/NDMP)。最后修改/访问日期、数据业主、位置、大小、甚至是重复的内容均可以进行自定义查询。
       这种分析软件与现有的分析访问日志和网络元数据解决方案大大不同。这种分析软件能够深入到文件中进行数据分析,如果需要的话甚至可以分析一个完整的文本轮廓,并提供全面的信息访问文件。管理文件时,这是唯一能够提供相关知识背景,以及有效地迁移数据所需的分析工具和处置能力的解决方案。


三、数据移植的技术准备

       数据转换与迁移通常包括多项工作:旧系统数据字典整理、旧系统数据质量分析、新系统数据字典整理、新旧系统数据差异分析、建立新旧系统数据之问的映射关系、开发部署数据转换与迁移程序、制定数据转换与迁移过程中的应急方案、实施旧系统数据到新系统的转换与迁移工作、检查转换与迁移后数据的完整性与正确性。
       数据转换与迁移的过程大致可以分为抽取、转换、装载三个步骤。数据抽取、转换是根据新旧系统数据库的映射关系进行的,而数据差异分析是建立映射关系的前提,这其中还包括对代码数据的差异分析。转换步骤一般还要包含数据清洗的过程,数据清洗主要是针对源数据库中,对出现二义性、重复、不完整、违反业务或逻辑规则等问题的数据进行相应的清洗操作;在清洗之前需要进行数据质量分析,以找出存在问题的数据,否则数据清洗将无从谈起。数据装载是通过装载工具或自行编写的SQL程序将抽取、转换后的结果数据加载到目标数据库中。

对数据的检查包括以下6个方面。

1、数据格式检查。检查数据的格式是否一致和可用,目标数据要求为number型。
2、数据长度检查。检查数据的有效长度,对于char类型的字段转换到varchar类型中,需要特别关注。
3、区间范围检查。检查数据是否包含在定义的最大值和最小值的区间中。例如年龄为300或录入日期为4000—1—1显然有问题。
4、空值、默认值检查。检查新旧系统定义的空值、默认值是否相同,不同数据库系统对空值的定义可能不同,需要特别关注。
5、完整性检查。检查数据的关联完整性。如记录引用的代码值是否存在,特别需要注意的是有些系统在使用一段时间后,为了提高效率而去掉了外键约束。
6、一致性检查。检查逻辑上是否存在违反一致性的数据,特别是存在分别提交操作的系统。


四、数据移植的工具选择

       数据迁移工具的开发、部署主要有2种选择,即自主开发程序或购买成熟的产品。这2种选择都有各自不同的特点,选择时还要根据具体情况进行分析。纵观目前国内一些大型项目,在数据迁移时多是采用相对成熟的ETL产品。可以看到这些项目有一些共同特点,主要包括:迁移时有大量的历史数据、允许的宕机时间很短、面对大量的客户或用户、存在第三方系统接入、一旦失败所产生的影响面将很广。同时也应该看到,自主开发程序也被广泛地采用。
       目前,许多数据库厂商都提供数据抽取工具,如Informix的InfoMover、Microsoft SQLServer的DTS和0raele的Oracle Warehouse Builder等。这些工具在一定范围内解决了数据的提取和转换。但这些工具基本都不能自动完成数据的抽取,用户还需利用这些工具编写适当的转换程序。
       例如Oracle的Oracle Warehouse Builder(OWB)数据抽取工具提供的功能包括:模型构造和设计,数据提取、移动和装载,元数据管理等。但OWB提供的流程繁琐,维护很困难,不易于使用。


五、恒辉数据移植平台

恒辉数据移植平台专门针对现状进行了研究与完善

       恒辉数据移植平台是一套相对比较完善的产品。恒辉信达可以从多个不同的业务系统、从多个平台的数据源中抽取数据,完成转换和清洗,装载到各种系统里面,其中每步都可以在图形化工具里完成;同样可以灵活地被外部系统调度,提供专门的设计工具来设计转换规则和清洗规则等,实现了增量抽取、任务调度等多种复杂而实用的功能。其中简单的数据转换可以通过在界面上拖拉操作和调用一些恒辉信达预定义转换函数来实现,复杂转换可以通过编写脚本或结合其他语言的扩展来实现,并且恒辉信达提供调试环境,可以极大地提高开发和调试抽取、转换程序的效率。