数据仓库和数据挖掘的 OLAP技术
数据仓库和数据挖掘的 OLAP技术
数据仓库一数据挖掘的有效平台 数据仓库中的数据清理和数据集成,是数据挖 掘的重要数据预处理步骤 数据仓库提供OLAP工具,可用于不同粒度的 数据分析 ■很多数据挖掘功能都可以和OLAP操作集成, 以提供不同概念层上的知识发现 a分类 a预测 a关联 a聚集
数据仓库－数据挖掘的有效平台 ◼ 数据仓库中的数据清理和数据集成，是数据挖 掘的重要数据预处理步骤 ◼ 数据仓库提供OLAP工具，可用于不同粒度的 数据分析 ◼ 很多数据挖掘功能都可以和OLAP操作集成， 以提供不同概念层上的知识发现 ❑ 分类 ❑ 预测 ❑ 关联 ❑ 聚集
什么是数据仓库 数据仓库的定义很多,但却很难有一种严格的 定义 口它是一个提供决策支持功能的数据库,它与公司的 操作数据库分开维护 a为统一的历史数据分析提供坚实的平台,对信息处 理提供支持 数据仓库区别于其他数据存储系统 数据仓库是一个面向主题的、集成的、随时间而 变化的、不容易丢失的数据集合,支持管理部门的 决策过程-W.H. Inmon
什么是数据仓库? ◼ 数据仓库的定义很多，但却很难有一种严格的 定义 ❑ 它是一个提供决策支持功能的数据库，它与公司的 操作数据库分开维护。 ❑ 为统一的历史数据分析提供坚实的平台，对信息处 理提供支持 ◼ 数据仓库区别于其他数据存储系统 ❑ “数据仓库是一个面向主题的、集成的、随时间而 变化的、不容易丢失的数据集合，支持管理部门的 决策过程.”—W. H. Inmon
数据仓库关键特征 面向主题 面向主题,是数据仓库显著区别于关系数据库 系统的一个特征 口围绕一些主题,如顾客、供应商、产品等 口关注决策者的数据建模与分析,而不是集中于组织 机构的日常操作和事务处理。 ¤排除对于决策无用的数据,提供特定主题的简明视
数据仓库关键特征一——面向主题 ◼ 面向主题，是数据仓库显著区别于关系数据库 系统的一个特征 ❑ 围绕一些主题，如顾客、供应商、产品等 ❑ 关注决策者的数据建模与分析，而不是集中于组织 机构的日常操作和事务处理。 ❑ 排除对于决策无用的数据，提供特定主题的简明视 图
数据仓库关键特征二—数据集成 个数据仓库是通过集成多个异种数据源来构 造的 口关系数据库,一般文件,联机事务处理记录 使用数据清理和数据集成技术 口确保命名约定、编码结构、属性度量等的一致性。 口当数据被移到数据仓库时,它们要经过转化
数据仓库关键特征二——数据集成 ◼ 一个数据仓库是通过集成多个异种数据源来构 造的。 ❑ 关系数据库，一般文件，联机事务处理记录 ◼ 使用数据清理和数据集成技术。 ❑ 确保命名约定、编码结构、属性度量等的一致性。 ❑ 当数据被移到数据仓库时，它们要经过转化
数据仓库关键特征三—随时间而变 化 数据仓库是从历史的角度提供信息 口数据仓库的时间范围比操作数据库系统要长的多 ■操作数据库系统:主要保存当前数据。 数据仓库从历史的角度提供信息(比如过去5-10年) ¤数据仓库中的每一个关键结构都隐式或显式地包含 时间元素,而操作数据库中的关键结构可能就不包 括时间元素
数据仓库关键特征三——随时间而变 化 ◼ 数据仓库是从历史的角度提供信息 ❑ 数据仓库的时间范围比操作数据库系统要长的多。 ◼ 操作数据库系统: 主要保存当前数据。 ◼ 数据仓库:从历史的角度提供信息（比如过去 5-10 年） ❑ 数据仓库中的每一个关键结构都隐式或显式地包含 时间元素，而操作数据库中的关键结构可能就不包 括时间元素
数据仓库关键特征四—数据不易丢 失 尽管数据仓库中的数据来自于操作数据库,但 他们却是在物理上分离保存的 ¤操作数据库的更新操作不会出现在数据仓库环境下。 a不需要事务处理,恢复,和并发控制等机制 口只需要两种数据访问 数据的初始转载和数据访问(读操作)
数据仓库关键特征四——数据不易丢 失 ◼ 尽管数据仓库中的数据来自于操作数据库，但 他们却是在物理上分离保存的。 ❑ 操作数据库的更新操作不会出现在数据仓库环境下。 ❑ 不需要事务处理，恢复，和并发控制等机制 ❑ 只需要两种数据访问: ◼ 数据的初始转载和数据访问（读操作）
数据仓库的构建与使用 ■数据仓库的构建包括一系列的数据预处理过程 ¤数据清理 a数据集成 a数据变换 数据仓库的使用热点是商业决策行为,例如: a增加客户聚焦 品重定位 口寻找获利点 口客户关系管理
数据仓库的构建与使用 ◼ 数据仓库的构建包括一系列的数据预处理过程 ❑ 数据清理 ❑ 数据集成 ❑ 数据变换 ◼ 数据仓库的使用热点是商业决策行为，例如： ❑ 增加客户聚焦 ❑ 产品重定位 ❑ 寻找获利点 ❑ 客户关系管理
数据仓库与异种数据库集成 异种数据库的集成方法 口传统的异种数据库集成:(查询驱动 在多个异种数据库上建立包装程序( wrappers)和中介程 序( mediators) ■查询驱动方法—当从客户端传过来一个查询时,首先使 用元数据字典将査询转换成相应异种数据库上的查询;然 后,将这些查询映射和发送到局部查询处理器 数据仓库:(更新驱动) 将来自多个异种源的信息预先集成,并存储在数据仓库中, 供直接查询和分析
数据仓库与异种数据库集成 ◼ 异种数据库的集成方法 ❑ 传统的异种数据库集成:（查询驱动） ◼ 在多个异种数据库上建立包装程序（wrappers）和中介程 序（mediators ） ◼ 查询驱动方法——当从客户端传过来一个查询时，首先使 用元数据字典将查询转换成相应异种数据库上的查询；然 后，将这些查询映射和发送到局部查询处理器 ❑ 数据仓库: （更新驱动） ◼ 将来自多个异种源的信息预先集成，并存储在数据仓库中， 供直接查询和分析
查询驱动方法和更新驱动方法的比较 查询驱动的方法 a需要负责的信息过滤和集成处理 a与局部数据源上的处理竞争资源 口对于频繁的査询,尤其是涉及聚集(汇总)操作的 查询,开销很大(决策支持中常见的查询形式) 更新驱动的方法(带来高性能) ¤数据经预处理后单独存储,对聚集操作提供良好支 持 口不影响局部数据源上的处理 口集成历史信息,支持负责的多维查询
查询驱动方法和更新驱动方法的比较 ◼ 查询驱动的方法 ❑ 需要负责的信息过滤和集成处理 ❑ 与局部数据源上的处理竞争资源 ❑ 对于频繁的查询，尤其是涉及聚集（汇总）操作的 查询，开销很大（决策支持中常见的查询形式） ◼ 更新驱动的方法（带来高性能） ❑ 数据经预处理后单独存储，对聚集操作提供良好支 持 ❑ 不影响局部数据源上的处理 ❑ 集成历史信息，支持负责的多维查询