第15章数据仓库 ·仕么是数据仓库? ·数据合库的结构 ·数据仓库系统 建立数据仓库 ·实现数据合库的数据库环境 ·数据合库与决策支持 SOL Server的数据合库解决方案 ·将 SOL Server的OITP数据转换到OLAP数据合库 软件开发商的数据合库解决方案
1 第15章 数据仓库 • 什么是数据仓库? • 数据仓库的结构 • 数据仓库系统 • 建立数据仓库 • 实现数据仓库的数据库环境 • 数据仓库与决策支持 • SQL Server的数据仓库解决方案 • 将SQL Server的OLTP数据转换到OLAP数据仓库 • 软件开发商的数据仓库解决方案
什么是数据仓库? 数据仓库是支持管理决策过程的、面向主题的、 集成的、随时间而增长的持久的数据集合
2 什么是数据仓库? 数据仓库是支持管理决策过程的、面向主题的、 集成的、随时间而增长的持久的数据集合
OLTP与oLAP 数据库上的业务处理称作OLTP(On-Line Transaction Processing),即联机事务处理; 而数据仓库上的业务处理称作OLAP(On Line analytical Processing),即联机分析处 理
3 OLTP与OLAP 数据库上的业务处理称作OLTP(On-Line Transaction Processing),即联机事务处理; 而数据仓库上的业务处理称作OLAP(OnLine Analytical Processing),即联机分析处 理
数据仓库的特点 1.面向主题:可以根据最终用户的观点组织和提供数据。 2.管理大量信息:数据仓库含有大量历史数据 3信息存储在多个存储介质上:因为必须管理大量的信息, 所以数据仓库的数据往往存储在多个介质上 4信息的概括和聚集:可以将信息概括和聚集,并以人们易 于理解的方式提供出来。 5从许多数据来源中将信息集成并使之关联:由于数据仓库 要管理大量的、且包含历史信息的数据,而这些数据可能和多个 应用及多个数据库有关,所以需要数据仓库收集和组织这些应用 程序多年来在各场合获得的数据 6.跨越数据库模式的多个版本:因为数据仓库必须管理和存 储历史数据,而这些历史数据在不同时代数据库模式的不同版本 之中,所以数据仓库有时还需要处理来自不同数据库的信息
4 数据仓库的特点: 1.面向主题:可以根据最终用户的观点组织和提供数据。 2.管理大量信息:数据仓库含有大量历史数据。 3.信息存储在多个存储介质上:因为必须管理大量的信息, 所以数据仓库的数据往往存储在多个介质上。 4.信息的概括和聚集:可以将信息概括和聚集,并以人们易 于理解的方式提供出来。 5.从许多数据来源中将信息集成并使之关联:由于数据仓库 要管理大量的、且包含历史信息的数据,而这些数据可能和多个 应用及多个数据库有关,所以需要数据仓库收集和组织这些应用 程序多年来在各场合获得的数据。 6.跨越数据库模式的多个版本:因为数据仓库必须管理和存 储历史数据,而这些历史数据在不同时代数据库模式的不同版本 之中,所以数据仓库有时还需要处理来自不同数据库的信息
数据仓库的结构 高度综合级 轻度综合级 当前细节级 早期细节级
5 数据仓库的结构
数据仓库系统 数据仓库 数据库 管理工具 高度综合数据 用户查询 工具 抽取、转 换、装载 轻度综合数据 C工具 数据文件 元数据库 当前数据 LAP工具 其他 数据源 数据建模 历史数据 工具 DM工具 数据源 数据仓库管理 数据仓库 分析工具
6 数据仓库系统
建立数据仓库 分析决策需求,确定数据来源。这是一个分析过程,需要 从可操作的源数据库中筛选所需数据,对其进行归纳整理, 存入数据仓库的不同信息层。 定义数据的综合、转化过程。使系统自动将数据从不同的 信息源中提取出来,转移到数据仓库中,并给予维护 建立数据仓库。综合并行技术、关系数据库系统和中间件, 在现有的异构环境基础上建立数据仓库。 建立能使用户从数据仓库中获取所需信息(数据、知识) 的工具。能进行有效的数据访问和应用开发,为用户迅速 建立起适用于决策支持的数据仓库界面和应用软件
7 建立数据仓库 分析决策需求,确定数据来源。这是一个分析过程,需要 从可操作的源数据库中筛选所需数据,对其进行归纳整理, 存入数据仓库的不同信息层。 定义数据的综合、转化过程。使系统自动将数据从不同的 信息源中提取出来,转移到数据仓库中,并给予维护。 建立数据仓库。综合并行技术、关系数据库系统和中间件, 在现有的异构环境基础上建立数据仓库。 建立能使用户从数据仓库中获取所需信息(数据、知识) 的工具。能进行有效的数据访问和应用开发,为用户迅速 建立起适用于决策支持的数据仓库界面和应用软件
实现数据仓库的数据库环境 高性能数据库服务器 并行数据库技术 数据库互操作技术
8 实现数据仓库的数据库环境 高性能数据库服务器 并行数据库技术 数据库互操作技术
数据仓库与決策支持 基于数据仓库的决策支持技术是通过数据仓库来 转化、综合和管理业务数据库中的大量数据的, 因此数据仓库的快速査询可以高效地获得数据。 数据挖掘不是一种单一的技术或软件,它综合了 数据可视化、机器学习、统计学和数据库技术, 通过某种方法在大量数据中发现有用知识,使数 据、知识和决策过程成为一个有机的整体,因此 决策支持过程的准确性和实时性都能大大提髙。 数据仓库和数据挖掘技术已经迅速发展起来,并 逐渐成为决策支持的新手段
9 数据仓库与决策支持 基于数据仓库的决策支持技术是通过数据仓库来 转化、综合和管理业务数据库中的大量数据的, 因此数据仓库的快速查询可以高效地获得数据。 数据挖掘不是一种单一的技术或软件,它综合了 数据可视化、机器学习、统计学和数据库技术, 通过某种方法在大量数据中发现有用知识,使数 据、知识和决策过程成为一个有机的整体,因此, 决策支持过程的准确性和实时性都能大大提高。 数据仓库和数据挖掘技术已经迅速发展起来,并 逐渐成为决策支持的新手段
SQL Server的数据仓库解决方案 SQL Server提供了一些组件可以将OLTP数据转换为OLAP数据,并使 OLAP信息可由决策者使用,从而构成 SQL Server的数据仓库解决方案。 ⅩML和 OLE DB SQL Server关系数据库管理系统数据转换服务 数据源 中间数据存储 仓库服务器 业务智能 SQL Server English Query SQL Serer RDBMS and 和第三方 RDBMS Analysis Services s×mau 第三方 SQL Ser Analysis Services 第三方 RDBMS and Analysis Services 数据挖掘 服务 Meta Data services Analysis Services和数据挖掘 nglish Query Meta Data Serices io
10 SQL Server的数据仓库解决方案 SQL Server提供了一些组件可以将OLTP数据转换为OLAP数据,并使 OLAP信息可由决策者使用,从而构成SQL Server的数据仓库解决方案。 XML和OLE DB SQL Server关系数据库管理系统 数据转换服务 Analysis Services和数据挖掘 English Query Meta Data Services