数据仓库建设的几点建议培训资料

数据仓库建设的几点

建议

北京甲骨文软件有限公司咨询经理鲁百年博士

一、国内信息化的现状

1、信息化建设的发展历史：

在国内信息化建设过程中，基本上是按照当时业务系统的需求进行建设，例如：在一个企业中，财务部门为了减少工资发放的差错，提高发放的效率，先建设一个工资发放和管理程序；为了报账和核对的需求，建设一个财务管理程序；在银行首先为了业务处理的方便，将最基本的手工记帐和处理的业务建成一个系统，过一段时间，如果有新的业务推出，就再建设一个新的系统，或在原系统的基础上增加新的业务处理。这样的结果使每个系统和系统之间缺少真正的信息沟通和信息交换。

2、为何要建立数据仓库：

前面我们讲过，业务系统各自为政，相互独立。当很多业务系统建立后，由于领导的要求和决策的需求，需要一些指标的分析，在相应的业务系统基础上再增加分析和相应的报表功能，这样每个系统就增加了报表和分析功能。但是，由于数据源不统一导致了对同一个指标分析的结果不相同。为了解决该问题，Bell Inman提出了数据仓库的概念，其目的是为了分析和决策的需要，将相互分离的业务系统的数据源整合在一起，可以为领导和决策层提供分析和辅助决策。

3、国内企业对数据仓库建设认识的误区：

大家对数据仓库的认识是将业务系统的数据进行数据抽取、迁移和加载（ETL），将这些数据进行整合存放在一起，统一管理，需要什么样的分析就可提供什么样的分析，这就是数据仓库。这样做的结果是花了一年到两年的时间都无法将整个企业业务系统的数据整合在一起，花钱多、见效慢、风险大。一年后领导问起数据仓库项目时，回答往往是资金不足，人力不够，再投入一些资源、或者再延长半年的时间就会见到效果，但是往往半年过后还是仅仅可以

看到十几张或者几十张报表。领导不满意，项目负责人压力也很大，无法交待。这时，项目经理或者项目负责人才意识到，项目有问题，但是谁也不敢说项目有问题，因为这样显然是自己当时的决策失误。怎么办？寻找咨询公司或者一些大的厂商，答案往往是数据仓库缺乏数据模型，应该考虑数据模型。如果建设时考虑到整个企业的数据模型，就可以建设成企业级的数据仓库（EDW）。什么是数据模型，就是满足整个企业分析要求的所有数据源。结果会如何，我个人认为：这样做企业级数据仓库成功的可能性太小。什么是企业级数据仓库，这是一个相对的概念，因为企业的业务系统会在不断的改善和升级，所以数据仓库的建设也会不断的完善和修改。数据仓库的建设是一个过程，它一定伴随着企业新的应用和企业各种各样新的需求而逐步完成。所以从数据整合入手、从企业级数据模型入手，均会给企业数据仓库的建设带来很大的风险。失败的概率太大了。

二、以应用驱动，数据仓库建设应由后向前规划

前面讲了数据仓库建设从数据源入手，先进行数据整合的方法会导致失败，特别是对信息化建设比较快而且数据量特别大的企业。这是因为数据仓库的理论均是讲从企业级的数据整入手，建立数据仓库。要么是大家对Bell Inman的理论由误解，要么就是数据仓库的祖师爷害了大家。数据仓库到底应该怎么建设?我一贯的主张是应用驱动。什么样的应用呢？从企业绩效管理的角度出发，一个企业最重要的四项关键指标为：财务指标、客户指标、企业内部的流程指标和学习创新的指标。应用从那个开始，应考虑企业的现状和决策层最关心的问题入手。在一般情况下，老总和董事会最关心的问题是企业的财务指标。其次是内部流程和员工绩效考核，再下来是客户的信息和决策支持。实际上在一个企业中最先上线的系统也是企业的财务管理和业务系统，这样相对财务分析是最容易实现的。因为数据较齐全，最完整，所以分析是较容易实现的，加之上市公司对财务报表的要求是最紧迫的。对财务分析从那入手，应该分析那些指标，这些指标通过什么公式（数学模型）计算，这些模型需要那些数据，这些数据又来自于那些业务系统，这些数据是否在业务系统中存在，能否进行分析，也就是这些主题的分析是否可行，应该先进行评估。这样从应用主题入

手，就可以知道需要什么样的数据，来自那些业务系统和数据源，这些数据的全体进行一定的整合，按照分析的要求存储就组成了一个数据集市（Data Mart）。

三、“想大做小”（整体设计、分布实施）

为了避免原有业务系统相对独立而形成的一个个信息孤岛，以应用驱动建设数据仓库，往往会造成新的信息孤岛。这是因为应用往往是部门级的或者是某一方面的应用，不能完全覆盖企业级的所有应用。当然我们这里不提倡一次建设企业级的应用。如何避免这个问题，是我这里着重要要强调的。这里分两种情形进行设计。

1、如果该公司的信息化建设相对较晚，或者才开始进行信息化建设，或者原有的业务系统已经无法支持现有的业务而需要重新改造原有业务系统，均应该整体设计，将各个系统的数据源统一存放管理，有一个统一的入口和出口。这样就避免了数据源的不统一而会导致信息孤岛，这样数据仓库的建设也就无意义了。因为企业级的数据本身就按照业务的需求和分析的需求进行设计和存放管理。在这种情况下要特别注意业务系统的安全性和效率问题。如何解决该问题，最近的网格计算正是为解决该类问题而设计的。除了统一数据源外，可以根据企业的需要，可利用一个个小型机进行不同需求的应用，OLTP和OLAP可以在不同的服务器上完成，同时可以将各个服务器的资源共享、时间任务优化分配。这样既解决了统一数据源的问题，又解决了运行安全和效率问题

（ Oracle 10g就是这种思想）。

2、如果该企业是一个信息化建设较早并且业务系统仍在应用，现在还需要大量的分析和辅助决策，那么就应该建设数据仓库，最少是数据集市。在设计时要考虑到企业的数据仓库，但是在实施时应该从企业最需求的数据集市入手，要考虑到该数据集市和将来慢慢一步一步建设的数据仓库应该共享一个数据源。方法步骤如下：

第一步、确立好应分析的主题(或项目)，如客户关系管理系统；