多维数据分析方法.ppt

数据仓库与OLAP实践2第3章 多维数据分析基础与方法 v3.1 多维数据分析基础多维数据分析基础 v3.2 多维数据分析方法多维数据分析方法 v3.3 维度表与事实表的连接维度表与事实表的连接 v3.4 多维数据的存储方式多维数据的存储方式 v3.5 小结小结 33.1 多维数据分析基础v多维数据分析是以数据库或数据仓库为基础的，多维数据分析是以数据库或数据仓库为基础的，其最终数据来源与其最终数据来源与OLTP一样均来自底层的数据一样均来自底层的数据库系统，但两者面对的用户不同，数据的特点与库系统，但两者面对的用户不同，数据的特点与处理也不同。处理也不同。v多维数据分析与多维数据分析与OLTP是两类不同的应用，是两类不同的应用，OLTP面对的是操作人员和低层管理人员，多维面对的是操作人员和低层管理人员，多维数据分析面对的是决策人员和高层管理人员。数据分析面对的是决策人员和高层管理人员。vOLTP是对基本数据的查询和增删改操作，它以是对基本数据的查询和增删改操作，它以数据库为基础，而多维数据分析更适合以数据仓数据库为基础，而多维数据分析更适合以数据仓库为基础的数据分析处理。库为基础的数据分析处理。41. 多维数据集（Cube）v 多维数据集由于其多维的特性通常被形象多维数据集由于其多维的特性通常被形象地称作立方体（地称作立方体（Cube），），v 多维数据集是一个数据集合，通常从数据多维数据集是一个数据集合，通常从数据仓库的子集构造，并组织和汇总成一个由仓库的子集构造，并组织和汇总成一个由一组维度和度量值定义的多维结构。一组维度和度量值定义的多维结构。v SQL Server 2000中一个多维数据集最中一个多维数据集最多可包含多可包含128个维度和个维度和1024个度量值。个度量值。52. 度量值（Measure）v 度量值是决策者所关心的具有实际意义的数值。度量值是决策者所关心的具有实际意义的数值。v 例如，销售量、库存量、银行贷款金额等。例如，销售量、库存量、银行贷款金额等。v 度量值所在的表称为事实数据表，事实数据表中度量值所在的表称为事实数据表，事实数据表中存放的事实数据通常包含大量的数据行。存放的事实数据通常包含大量的数据行。v 事实数据表的主要特点是包含数值数据（事实），事实数据表的主要特点是包含数值数据（事实），而这些数值数据可以统计汇总以提供有关单位运而这些数值数据可以统计汇总以提供有关单位运作历史的信息。作历史的信息。v 度量值是所分析的多维数据集的核心，它是最终度量值是所分析的多维数据集的核心，它是最终用户浏览多维数据集时重点查看的数值数据。用户浏览多维数据集时重点查看的数值数据。 63. 维度（Dimension）v 维度（也简称为维）是人们观察数据的角度。维度（也简称为维）是人们观察数据的角度。v 例如，企业常常关心产品销售数据随时间的变化例如，企业常常关心产品销售数据随时间的变化情况，这是从时间的角度来观察产品的销售，因情况，这是从时间的角度来观察产品的销售，因此时间就是一个维（时间维）。此时间就是一个维（时间维）。v 例如，银行会给不同经济性质的企业贷款，比如例如，银行会给不同经济性质的企业贷款，比如国有、集体等，若通过企业性质的角度来分析贷国有、集体等，若通过企业性质的角度来分析贷款数据，那么经济性质也就成为了一个维度。款数据，那么经济性质也就成为了一个维度。 v 包含维度信息的表是维度表，维度表包含描述事包含维度信息的表是维度表，维度表包含描述事实数据表中的事实记录的特性。实数据表中的事实记录的特性。 74. 维的级别（Dimension Level）v 人们观察数据的某个特定角度（即某个维）还可人们观察数据的某个特定角度（即某个维）还可以存在不同的细节程度，我们称这些维度的不同以存在不同的细节程度，我们称这些维度的不同的细节程度为维的级别。的细节程度为维的级别。v 一个维往往具有多个级别一个维往往具有多个级别.v 例如描述时间维时，可以从月、季度、年等不同例如描述时间维时，可以从月、季度、年等不同级别来描述，那么月、季度、年等就是时间维的级别来描述，那么月、季度、年等就是时间维的级别。级别。 85. 维度成员（Dimension Member）v 维的一个取值称为该维的一个维度成员（简称维维的一个取值称为该维的一个维度成员（简称维成员）。成员）。v 如果一个维是多级别的，那么该维的维度成员是如果一个维是多级别的，那么该维的维度成员是在不同维级别的取值的组合。在不同维级别的取值的组合。v 例如，考虑时间维具有日、月、年这例如，考虑时间维具有日、月、年这3个级别，个级别，分别在日、月、年上各取一个值组合起来，就得分别在日、月、年上各取一个值组合起来，就得到了时间维的一个维成员，即到了时间维的一个维成员，即“某年某月某日某年某月某日”。 9多维数据集示例多维数据集示例103.2 多维数据分析方法 v多维分析可以对以多维形式组织起来的数多维分析可以对以多维形式组织起来的数据进行上卷、下钻、切片、切块、旋转等据进行上卷、下钻、切片、切块、旋转等各种分析操作，以便剖析数据，使分析者、各种分析操作，以便剖析数据，使分析者、决策者能从多个角度、多个侧面观察数据决策者能从多个角度、多个侧面观察数据库中的数据，从而深入了解包含在数据中库中的数据，从而深入了解包含在数据中的信息和内涵。的信息和内涵。 111. 上卷（Roll-Up）v上卷是在数据立方体中执行聚集操作，通过在维上卷是在数据立方体中执行聚集操作，通过在维级别中上升或通过消除某个或某些维来观察更概级别中上升或通过消除某个或某些维来观察更概括的数据。括的数据。 沿着时间维上卷，由“季度”上升到半年 12上卷（续）v上卷的另外一种情况是通过消除一个或多个维来上卷的另外一种情况是通过消除一个或多个维来观察更加概况的数据。观察更加概况的数据。 消除“经济性质”维度 132. 下钻（drill-down）v下钻是通过在维级别中下降或通过引入某个或某下钻是通过在维级别中下降或通过引入某个或某些维来更细致的观察数据。些维来更细致的观察数据。 沿时间维下钻 143. 切片（slice）v在给定的数据立方体的一个维上进行的选择操作。在给定的数据立方体的一个维上进行的选择操作。切片的结果是得到了一个二维的平面数据。切片的结果是得到了一个二维的平面数据。 “时间1季度” 153. 切块（dice）v在给定的数据立方体的两个或多个维上进行的选在给定的数据立方体的两个或多个维上进行的选择操作。切块的结果是得到了一个子立方体。择操作。切块的结果是得到了一个子立方体。 (度量值“正常” or “次级”）And （时间“1季度” or “2季度”） 165转轴（pivot or rotate）v转轴就是改变维的方向。转轴就是改变维的方向。 交换“时间”和“经济性质”轴173.3 维度表与事实表的连接 v维度表和事实表相互独立，又互相关联并维度表和事实表相互独立，又互相关联并构成一个统一的架构。构成一个统一的架构。v构建多维数据集时常用的架构：构建多维数据集时常用的架构： 星型架构 雪花型架构 星型雪花架构v在在SQL Server 2000中，这些架构的中中，这些架构的中心都是一个事实数据表。心都是一个事实数据表。 181. 星型架构v维度表只与事实表关联，维度表彼此之间维度表只与事实表关联，维度表彼此之间没有任何联系，没有任何联系，v每个维度表中的主码都只能是单列的，同每个维度表中的主码都只能是单列的，同时该主码被放置在事实数据表中，作为事时该主码被放置在事实数据表中，作为事实数据表与维表连接的外码。实数据表与维表连接的外码。v星型架构是以事实表为核心，其他的维度星型架构是以事实表为核心，其他的维度表围绕这个核心表呈星型状分布。表围绕这个核心表呈星型状分布。 19星型架构示意图202雪花型架构 (Snow Schema)v某个维度表不与事实表直接关联，而是与某个维度表不与事实表直接关联，而是与另一个维表关联。另一个维表关联。v可以进一步细化查看数据的粒度。可以进一步细化查看数据的粒度。v维度表和与其相关联的其他维度表也是靠维度表和与其相关联的其他维度表也是靠外码关联的。外码关联的。v也以事实数据表为核心。也以事实数据表为核心。 21雪花型架构示意图223星型雪花架构(Star-Snow Schema)v将星型架构和雪花式架构合并在一起使用，而成将星型架构和雪花式架构合并在一起使用，而成为星型雪花架构。为星型雪花架构。 233.4 多维数据的存储方式 vSQL Server 2000的的Analysis 三种多维数据三种多维数据存储方式存储方式: MOLAP（多维OLAP） ROLAP（关系OLAP） HOLAP（混合OLAP） 241ROLAPvROLAP的数据与计算结果直接由原来的关系数的数据与计算结果直接由原来的关系数据库取得，存储维度的数据以数据表形式存储在据库取得，存储维度的数据以数据表形式存储在OLAP服务器上。服务器上。vROLAP将支撑多维数据的原始数据、多维数据将支撑多维数据的原始数据、多维数据集数据、汇总数据和维度数据都存储在现有的关集数据、汇总数据和维度数据都存储在现有的关系数据库中，并用独立的关系表来存放聚集数据。系数据库中，并用独立的关系表来存放聚集数据。v不存储源数据副本，占用的磁盘空间最少，但存不存储源数据副本，占用的磁盘空间最少，但存取速度也比较低。取速度也比较低。 252MOLAPvMOLAP使用多维数组存储数据，它是一种高性使用多维数组存储数据，它是一种高性能的多维数据存储格式。能的多维数据存储格式。v多维数据在存储中将形成多维数据在存储中将形成“立方体立方体”的结构。的结构。MOLAP存储模式将数据与计算结果都存储在立存储模式将数据与计算结果都存储在立方体结构中，并存储在分析服务器上。方体结构中，并存储在分析服务器上。v该结构在处理维度时创建。该结构在处理维度时创建。v存取速度最快，查询性能最好，但占用磁盘空间存取速度最快，查询性能最好，但占用磁盘空间较多。较多。 263HOLAPvROLAP与与MOLAP存储方式的结合。存储方式的结合。v原始数据和原始数据和ROLAP一样存储在原来的关系一样存储在原来的关系数据库中，而聚合数据则以多维的形式存数据库中，而聚合数据则以多维的形式存储。储。v这样它既能与关系数据库建立连接，同时这样它既能与关系数据库建立连接，同时又利用了多维数据库的性能优势。又利用了多维数据库的性能优势。v缺点是在缺点是在ROLAP和和MOLAP系统之间的切系统之间的切换会影响它的效率。换会影响它的效率。 27三种存储方式的比较 内容内容MOLAPROLAPHOLAP源数据的副本有无无占用分析服务器存储空间大小小使用多维数据集小较大大数据查询快慢慢聚合数据的查询快慢快使用查询频度经常不经常经常283.5 小结v 多维数据集多维数据集是一个数据集合，通常从数据仓库的子集构造，是一个数据集合，通常从数据仓库的子集构造，并组织和汇总成一个由一组维度和度量值定义的多维结构。并组织和汇总成一个由一组维度和度量值定义的多维结构。v 度量值度量值是决策者所关心的具有实际意义的数值。是决策者所关心的具有实际意义的数值。v 维度维度是人们观察数据的角度。是人们观察数据的角度。v 维的级别是维的级别是维度的不同的细节程度。维度的不同的细节程度。v 维度成员维度成员是维的一个取值。是维的一个取值。v 数据集合的常用操作有数据集合的常用操作有上卷、下钻、切片、切块和转轴。上卷、下钻、切片、切块和转轴。v 维度表和事实表的连接方式维度表和事实表的连接方式主要有星型架构、雪花型架构主要有星型架构、雪花型架构以及星型雪花架构。以及星型雪花架构。v 多维数据的存储模式多维数据的存储模式有有ROLAP、MOLAP和和HOLAP。