丹麦电信业的领先者削减了成本

Microsoft SQL Server 客户解决方案案例研究

通过使用建立在SQL Server 2005上的6TB的

数据仓库,丹麦电信业的领先者削减了成本

概述

国际或地区:丹麦

行业:电信业

客户资料

以丹麦哥本哈根为基地,TDC向12个国

家的客户提供电信服务。TDC每年能够创

造70亿美元以上的收入。

业务情况

TDC需要一个数据仓库,以便对来自60

多个异类系统的数据进行分析,这些数据

由2000名业务分析员和其他内部用户进

行存取。

解决方案

TDC使用了在Microsoft Windows Server?

2003 64位企业版操作系统上运行的

Microsoft? SQL Server? 2005企业版(64

位)和SQL Server Analysis Services创建了

一个6TB的数据仓库。

利益

?具有多种观点的“单一真理”

?支持更多分析人员的能力

?降低了80%的处理时间

?集成的开发环境

?更容易的数据分析

“现在,我们已经拥有了6TB的数据,并且预计数

据量将以每年30%左右的比率增长。我们选择SQL

Server 2005的其中一个原因是它具有我们所需要的

与我们的发展相匹配的可伸缩性。”

TDC公司系统结构设计师Jan Andersen

以位于丹麦哥本哈根的总部为基地,TDC向12个国家的客户提供

了固定线路、移动的和数据通信服务。该公司报告的2005年收

入为80亿美元。它需要将收据从60多个异类系统收集到中心的

数据仓库,以便对2000名左右的业务分析员和其他内部用户提

供支持。通过使用以具有AMD Opteron?双核64位处理器的HP

ProLiant DL585服务器为主机的Microsoft? SQL Server? 2005企

业版(64位)数据库和SQL Server Analysis Services,TDC对它的

6TB数据仓库进行了部署。此数据仓库为该公司提供了集中的、

权威性的、跨机构的信息源。以前,进行复杂的分析需要从磁带

导入历史数据并跨越各异类系统进行工作;而现在,进行复杂分

析的成本得到了大幅度的削减。

他们的核心能力——对业务计划和控制进行数据分析。由于不同的业务单元处理数据的质量、管理和转换等问题的方式存在差异,异类信息系统的问题变得更加复杂。报表的数据集成方式的差异导致不同的组织机构创建了“不同版本的真理”。

“问题是,我们的分析员需要成为众多不同系统的专家,而他们仅仅是为了获得他们需要研究的数据,”TDC 公司分析主管Peter M?llebjerg Andersen 解释说,“这个问题非常复杂,因为我们需要处理来自60多个数据源的数据。没有任何一个分析员能够全面地了解所有系统。”

TDC 需要一种能够使公司实现以下目标的商业智能(BI)解决方案:

? 对来自所有数据源的数据执行提取、转

换和加载(ETL)的过程,并将其合并在一个数据仓库中,以提供“单一版本的真理”。

? 创建多维数据集,以支持数据分析。

? 降低分析异类数据的成本。

解决方案

通过使用在Microsoft Windows Server

2003 64位企业版操作系统上运行的Microsoft SQL Server ? 2005企业版(64位)数据库,TDC 创建了一个统一的BI 数据仓库,并使用该数据仓库替换了它的第三方报表应用程序的集合。

该数据仓库被称为“CUBUS ”,它包含了以两个SQL Server 实例为宿主的6TB 数据,其中最大实例的容量约为3TB 。目前,该数据仓库可支持约332组的2000多名用户。在今后两年,用户数量预计可达到二倍以上。

该解决方案最初是使用SQL Server 2000部署的,然后在一次移植过程中升级为SQL Server 2005,TDC 称赞了这次移植的

“通过使用和本的真理’。”

TDC 公司分析主管Peter M?

?ETL层。初期的ETL是按照以下方式执行的:将来自60多个数据源的数据导入专用的SQL Server数据库中,以保证只读取有效的数据。在此方式中,同时也选取了元数据。通过使用SQL Server 2005 Integration Services和存储过程,以及在升级到SQL Server 2005之前创建的SQL Server 2000 DTS包,ETL得

到了执行。

?分段运输层。通过使用200个以上的Integration Services、DTS包和存储过程,对数据进行规范化处理、清洁操作和调整,以匹配一致性数据模型的维度和结构。ETL和分段工作是在专用的SQL Server数据库上执行的。

?数据仓库层。确认有效的数据模型存储在一个专用的SQL Server数据库上的关系型数据仓库中。

?分析层。SQL Server 2005 Analysis Services是一个进行联机分析处理(OLAP)的中间层服务器,它用于创建100个以上的多维数据集。最复杂的多维数据集——财务报表,具有32个维度和4500亿个聚合体。

?报表层。Microsoft Office Web Components提供了报表功能。TDC使用SQL Server 2005 Report Builder(报表生成器)进行特殊的数据挖掘操作。TDC 正在准备部署SQL Server 2005 Reporting Services,这是一个综合的、基于数据库的解决方案,用于创建、管理和传递实时的信息,其目的是对日常的操作和决策提供支持,以便创建循环报表。

?表示层。Microsoft Office 2003 Excel?2005电子表格软件与Microsoft PivotTable?动态视图共同提供了界面工具,用户可以通过它访问数据仓库。同时,也可以使用任何与Analysis

Services兼容的OLAP界面工具。

对于使用了Microsoft Visual Studio?2005和Microsoft .NET Framework 2.0版的数据仓库,TDC的内部开发人员创建了支持它的应用程序。.NET Framework是Windows操作系统的一个集成组件,它为Web服务、Web应用程序和智能客户端应用程序提供了编程模型和运行库。

解决方案策略

与其它的大型组织机构一样,在公司内部的大量组织机构中,TDC也要面对获得项目验收和产品定义协议的挑战。为了获得项目验收,CUBUS团队与每个组织机构内部的高级负责人进行了协同工作,并特别重视每个机构的财务部门的参与。对于TDC的管理人员而言,获得公司内部的各个财务部门的支持是必需性的。财务部门是主要的数据用户和分析创建者,并且被视为“真理的拥护者和执行者”——所有这一切使财务人员能够迅速地看到CUBUS 数据仓库的价值。

第二个挑战是创建数据结构的标准定义,例如产品、分段、客户、组织机构以及任何其它的可能性概念,它们可以跨越公司的各个部门应用于数据仓库。CUBUS团队再一次与财务部门进行了密切合作,以确定哪些数据定义对于他们自己的操作是必需性的。CUBUS在财务部门之间进行工作,其目的是使所有组织机构都可以使用的通用定义达成一致。

如果某个机构需要它自己的专用定义,便将此特殊定义与其它定义一起发布,并且对其中的差异进行清晰的评注,以确保所有人都能够理解所定义的概念。在各业务种类之间发现通用定义时,对这些已达成一致的定义进行维护的责任就集中在以下方面:自始至终保证未来的开发和维护中的连续性,并促进它们在公司范围内的使用。收益

将来自60多个源系统的数据合并至中心的数据仓库中,为TDC带来了诸多利益,它们包括:提供了具有多个视图的单一的统计数据集、使用相对较少的资源支持更多分析人员的能力、降低了80%的处理时间、集成的开发环境以及超过700%的项目投资回报率(ROI)。

具有多种观点的“单一事实”

CUBUS数据仓库为TDC提供了一个所有人都认可的综合的统计数据集。另外,它还提供了一个中心点,可从这个中心点运用多维数据集和特殊的数据挖掘操作对来自几十个数据源的数据进行分析。TDC的分析人员和公司内部的其他人员非常喜欢这种能够跨越公司的各个部门保持一致的数据,因为他们体验过处理异类的数据源和报表应用程序是多么的让人烦恼。

“我们的分析人员非常喜欢我们的SQL Server 2005数据仓库,因为现在他们可以将他们的时间花在分析方面,而不是挖掘数据。”TDC公司财务部总经理Jacob Moesgaard说。

“过去,我们常常把每次会议的第一节用来比较数据和尝试确定谁有用于工作的最佳信息。”Andersen回忆说,“每个机构都有使用自己的方式查看数据和定义产品及业务元素的分析员。争论谁是最好的分析员没有太多意义。通过使用SQL Server 和Analysis Services创建我们的数据仓库,我们已经无需再为数据的有效性进行争论。现在,我们有了‘单一版本的真理’。我们可以专注于实际任务——从我们的通用数据集提取价值。”

CUBUS团队用于部署数据仓库的规划过程也是非常有帮助的,尤其是它能够引导各个内部机构在使用通用定义集的问题上最大限度地达成一致,这样公司内部的各个机构就能够以相同的方式讨论相同的问题。

“SQL Server 2005 Integration Services是一个强大的ETL工具。”

TDC公司分析主管Peter M?llebjerg Andersen

“现在,产品定义是我们通用知识,因此,当有人需要创建新的报表或分析时,产品定义就已经成为了这个多维数据集的一部分,这样我们就能够以它为基础进行构建。”Andersen说,“这对我们很有帮助,我们能够以过去十分之一的时间创建新的研究产品。”

由于数据仓库消除了讨论数据的有效性和准确性的需要,分析人员和数据的其他用户就可以自由地探索用于寻找新的洞察的数据。

“作为一家公司,我们正在获取新的知识,通过收集信息来提高我们的业务知识。”Andersen解释说,“使用SQL Server Query Builder(查询生成器)部署Analysis Services并执行特殊的数据挖掘操作,可以帮助我们创造我们以前没有的信息。我们可以传递知识。而智慧是以知识为基础的。”

支持更多分析人员的能力

使用SQL Server和Analysis Services创建数据仓库,大大地简化了对TDC的业务分析员和TDC的其他数据相关用户提供支持的工作。“SQL Server 2005 Integration Services是一个强大的ETL工具。”Andersen评述说,“我们对Analysis Services和Integration Services与数据库集成的实际情况非常满意。对于我们的数据仓库基础结构,我们没有使用任何的第三方应用程序,因为SQL Server和Windows Server中的一切集成得是如此的完美。”

紧密集成的基础结构,加上Analysis Services和SQL Server关系型数据库的易用性,使CUBUS机构可以使用相对较少的人力对更多的用户提供支持。

“由于Analysis Services是如此的直观,我们的分析人员在很大程度上是自立的。它甚至允许我们将Excel作为前端使用。”Andersen评述说,“以前,我们一般用5名全职员工对30个用户提供支持。而现在,我们用12名等同于全职的员工对2000名以上的分析员和其他用户提供支持。”

在幕后,分析人员受益于它的简易性,通过这种简易性,就可以将新数据源导入数据仓库中。SQL Server 2005 Integration Services给TDC的管理人员留下了很深的印象,因为与DTS相比,它提供了一个更加强大的ETL解决方案。

“与我们使用过的DTS相比,SQL Server Integration Services为处理数据提供了一个更具包容性的方法。”Andersen评述说,“在设计BI解决方案的过程中,你需要对业务分析人员的观点和需求进行整合。SQL Server Integration Services使这项工作变得非常简单。它是一个非常强大的ETL工具。”

降低了80%的处理时间

通过它的新数据仓库解决方案,TDC深深受益于这种增强的处理能力。“在无需改写代码的情况下,我们的处理能力的大幅度增强让我们深深受益。”Andersen说,“我们看到,通过使用SQL Server 2005和AMD Opteron?双核64位处理器,多维数据集处理和数据收集所需的处理时间降低了80%。”

通过这种增强的处理能力,该公司可以运行过去常常需要消耗过多时间的分析程序。“我们的处理过程包括对来自16万个损益表的数据进行分析,信息量总计超过1.5TB。”Andersen说,“过去,这常常需要消耗过多的时间,因此必须对这项工作进行谨慎的时间安排。现在,根据分析员的需要,在任何时间都可以完成这项工作。”

处理效率得到了增强,其中部分原因是由于TDC对SQL Server 2005的表分区(Table Partitioning)功能的使用,这样对于容量很大的表就可以快速地加载数据并简化维护操作。表分区功能使数据库管理员能够将多个表作为一个单独的实体进行处

“通过使用Visual Studio、Analysis Services和SQL Server,我们的开发人员就可以非常轻松地创建解决方案,他们喜欢这种简便的方式。将所有这些产品进行集成是如此的容易。”

TDC公司系统结构设计师Jan Andersen

理。“我们需要处理大量的复杂数据。”Andersen说,“我们最大的表有10亿多个行,当你达到这个规模时,你就需要类似于表分区的功能来促进更新。”

增强的处理能力对于TDC尤其重要,因为它的数据存储量正在迅速地增加。“现在,我们已经拥有了6TB的数据,并且预计数据量将以每年30%左右的比率增长。”TDC公司系统结构设计师Jan Andersen说,“我们选择SQL Server 2005的其中一个原因是它具有我们所需要的与我们的发展相匹配的可伸缩性。”

集成的开发环境

通过自己的Visual Studio 2005和.NET Framework开发环境与SQL Server 2005的完美的无缝集成,TDC的内部开发人员获得了很大的收益。“通过使用Visual Studio、Analysis Services和SQL Server,我们的开发人员就可以非常轻松地创建解决方案,他们喜欢这种简便的方式。”Jan Andersen说,“将所有这些产品进行集成是如此的容易。你可以在Visual Studio内进行工作,以创建这样的解决方案:它将会使用SQL Server Integration Services、Analysis Services、Reporting Services、用于保障安全性的Active Directory和用于SQL Server的自定义数据类型。所有的碎片结合得是如此的容易,我们的开发人员非常喜欢这种方式。”

该公司正计划将SQL Server 2005 Notification Services的功能集成至范围广阔的关键性能指标(KPI)系统中,它正在对这种系统进行跨机构的部署。“Notification Services将为我们提供一种极佳的方式,通过这种方式,我们就可以向需要的用户传递非常准确、及时的信息。”Andersen说,“在与策略、计划和预算进行结合时,KPI能够提供至关重要的信息。如果KPI对于某家公司并不重要,那么这家公司就不是一家数据驱动的公司。”更容易的数据分析

通过将数据从60多个异类系统收集到一个统一的数据仓库中,大幅度地削减了在TDC公司进行数据分析的成本。例如,TDC每年大约会产生9.6亿条帐目记录,同时它的交易机构每天至少会产生6500万条记录。

某个TDC机构需要获得个体帐目记录的粒度,以便能够跟踪问题并对单个产品和客户的未来发展情况做出预测。但是,以前历史数据一般在三个月之后就会存储在磁带上,这使数据访问变得很困难。

为了能够做出预测,该机构需要两年的数据。更加复杂的问题是,在数据仓库出现之前,财务记录和帐目记录之间没有任何直接的链接。数据仓库的出现使此类数据分析得到了大大的简化。

“由于Analysis Services是如此的直观,我们的分析人员在很大程度上是自立的。”

TDC公司分析主管Peter M?llebjerg Andersen

Microsoft服务器产品资料

欲了解Microsoft服务器产品资料的详细信息,请登录:

https://www.360docs.net/doc/5d15355021.html,/servers/default.mspx Microsoft SQL Server 2005

Microsoft SQL Server 2005是一种综合的、集成的数据管理和分析软件,有了它,组织机构就可以对关键任务信息进行可靠的管理,并安心地运行目前复杂性不断增强的业务应用程序。通过提供高度的可用性、加强的安全性以及嵌入式报表和数据分析工具,SQL Server 2005可以帮助公司从它们的业务信息中获得更好的洞察,并取得更快的结果,从而建立竞争优势。SQL Server 2005的设计是为了与您的其它服务器基础结构投资项目进行无缝的集成。

欲了解SQL Server 2005的详细信息,请登录:

https://www.360docs.net/doc/5d15355021.html,/sqlserver

软件和服务

?Microsoft Servers

?Microsoft Windows Server 2003 64位企业版

?Microsoft SQL Server 2005 企业版(64位)

?Microsoft Office System

?Microsoft Office Excel 2003

?Microsoft Visual Studio 2005

?技术

?Microsoft Active Directory

?Microsoft .NET Framework 2.0版

?Microsoft SQL Server 2005 Analysis

Services

?Microsoft SQL Server 2005 Reporting

Services

硬件

?HP ProLiant DL585服务器,具有四个AMD Opteron双核64位处理器,使用2.2GHz的频率和32G的随机存取内存(RAM)运行

合作伙伴

?AMD

相关文档
最新文档