数据挖掘详解

第一篇概述
1. 数据剖析与数据挖掘
1.1 数据剖析
界说数据剖析是指采用适当的统计剖析办法对搜集到数据举行.概括和总结，对数据举行恰当地描写提取出有用的信息历程
例连锁商场对上季度种种商品的销售量举行统计和剖析，得出种种商品需要量和销售曲线，购置部门依次为依照举行购置计谋调治
罕见图排列图，因果图，散布图，直方图，掌控图
1.2 数据挖掘
数据挖掘 (Data Mining，DM) 是指从海量的数据中通过相关算法来发 现潜伏在数据中的纪律和知识历程 呢。
为什么举行数据挖掘呢？
数据的爆炸式增添 : 从TB 到PB
数据是富厚的，急需觉察知识 数据是富厚的，急需觉察知识 吧！
平时 将数据 挖掘视为中“知识觉察 啊”的同义词，也能够或者者以为数据挖掘是知识觉察中的一位措施呢。
1.3 知识觉察（KDD）的历程
重点
1.4 数据剖析与数据挖掘的区分
1.5 数据剖析与数据挖掘的联系
数据剖析的结局往必-要进一步挖掘才气获得越发清晰，而数据挖掘觉察知识的历程也必-要对先验约束举行肯定调治而再次举行数据剖析呢。
数据剖析能够将变成信息，而挖掘知识如果必-要从数据中觉察知识，往必-要剖析和挖掘相互合-作一同完结任-务呢。
2. 剖析与挖掘的数据种别
2.1 数据库数据
数据库体制（DataBase System，DBS）由一组内里相关的数据（称做数据库）和用于治理这些数据的程-序组成，通过软件程-序对数据举行高效的存储和治理呢。
2.2数据仓库数据
数据仓库（Data Warehouse，DW）是一位面向主题的.集成的.时变得.非易失的数据会合，支持治理者决定历程呢。
2.3 事情数据
事情数据库的每逐一位纪录代表一位事情，好比一位车次的订.主顾的一位定单等等呢。
2.4 数据矩阵
数据矩阵中的数据对-象的所有属性全是拥有相似样的性别质的数值型数据呢。
2.5 图和网状结构
图和网状结构平时用来讲明区别结点之中的联系，好比人际关系网.网站之中的相互链接关系等呢。
2.6 其余种别数据
与时刻相关的序列数据区别时刻的气温.股市场的史书生意数据
数据流数据监控中的视频数据
多媒体数据视频.音频.文本和图像数据
3. 数据剖析与数据挖掘的办法
3.1 重复形式
重复形式数据中重复出-现的形式
重复项集重复在事情数据会合一块出-现的商品会合
比如在商场的销售中哪些商品会重复地一块被购置?
关联与相关性
比如典型的关联谋划
尿不湿——啤酒
3.2 分类与回归
分类与标签预料是找出描写和分辩数据类或者观点的模子或者函数，以便能够或者者运用模子预料类标号未知的对-象的类标号
分类预料种别（分散的.无序的）标号，回归建设连续值函数模子，也即是用来预料缺失的或者难以获取的数值数据值呢。
典型办法决定树， 质朴贝叶斯分类，支持向量机，神经网络， 谋划分类器， 基于形式的分类，思维回归 …
3.3聚类剖析
聚类即是把一些对-象区分为多个组或者者“聚簇啊”，从而使得同组内对-象间对比相似而区别组对-象间差异较大呢。
比如通讯公司依照“工做时刻电话时长啊”.“其余时刻电话时长啊”.“当地电话时长啊”等属性对用户举行聚类剖析，能够将用户区分为“商务用户啊”.“普公用户啊”和“较少运用用户啊”呢。
3.4 离群点剖析
离群点是指全局或者部-分范围内偏离一样平常水平的视察对-象呢。
比如当觉察某私有名誉卡在不经常消耗的地域短时刻内消耗了大量的金额，则能够认定这张卡的运用情形十分，能够做为离群点数据呢。
4. 数据剖析与数据挖掘运用的技术
4.1 统计学办法
统计学是通过对数据举行搜集.整理.剖析和描写，来到达对钻研对-象实质的领会和表现呢。
在现实生涯中，平时有一些历程无法通过理-论剖析直-接获取模子，但能够通过直-接或者间接丈量的办法获取描写目的对-象的相关变量的详细数据，用来描绘这些变量之中关系的数学函数称为统计模子呢。
4.2机械学习
机械学习主要钻研盘算机怎么样像人类学习知识那样自主刻剖析和处置数据，并做出智能的推断，并通过获取的新的知识对自身举行进展和完结呢。
机械学习办法包罗监视学习.无监视学习.半监视学习等呢。
监视学习必-要在有记号的数据集上举行呢。
无监视学习能够在有无记号的数据集上进前学习，实质上无监视学习是一位聚类的历程呢。
半监视学习半监视学习主要思考怎么样使用少许有记号的数据和大量未记号的数据来进前学习，这个内里记号的数据用来学习模子，而未记号的数据用来进一步改良类的界限呢。
4.3 数据库与数据仓库
数据库体制是为理处置数据处置方方面面的疑而建设起身的数据处置体制，重视于为用户建立.守护和运用数据库呢。
数据仓库聚集了来源多个区别数据源的数据，通过数据仓库，能够在区别的维度合并数据，造成数据立方体，便于从区别的角度对数据举行剖析和挖掘呢。
4.4 形式识别
形式识别的实质即是形象出区别东西中的形式，并依照这些形式对东西举行分类或者聚类的历程呢。
钻研内容笔墨识别.语音识别.图像识别.医学诊断和指纹识别等呢。
4.5 高功效盘算
高功效盘算是指打破单个盘算机资源不足的制约，运用多个处置器或者多台盘算机一同完结统一项任-务的盘算环-境呢。
5. 运用处景及存在的疑
5.1 运用处景
商务智能通过数据挖掘等技术能够获取潜伏在种种数据中的有益信息，从而帮-助商家进一步-伐治营销计谋呢。
信息识别信息识别是指信息吸收者从肯定的目的启程，运用已有一些知识和经验，对信息的真伪性.有用性举行辨识和判别呢。
寻找引擎依照用户供应的主要词，在网络上寻找用户最必-要的内容呢。
辅佐医疗对大量史书诊断数据举行剖析和挖掘，有助于医生对病人的病情举行有用的推断呢。
5.2 存在的疑
数据种别的多样性
高维度数据
噪声数据
剖析与挖掘结局的可视化
隐秘数据的守护
第两篇数据
1. 数据的属性
1.1 数据对-象
数据集由数据对-象组成呢。一位数据对-象代表一位实体呢。
比如
销售数据库: 主顾. 商品.销售
医疗数据库: 患者.医生.诊断医疗抢救
选课数据库: 學生.老师.课程
数据对-象又称为样本.实例.数据点.对-象或者元组呢。
数据对-象用属性描写呢。数据表的行对应数据对-象; 列对应属性呢。
1.2 属性
属性(特色，变量)是一位数据字段，表现数据对-象的一位特色呢。
比如客户编号.名字.位置.商品编号.商品名.价.种类等
1.3 属性种别
标称属性(nominal attribute)种别，状态或者东西的名字呢。
每逐一位值代表某品种别.编码或者状态，这些值没必-要拥有有意义的序，能够看做是枚举的呢。比如头发色=
也能够或者者用数值表现这些记号或者称呼，但一开始不定量地运用这些数呢。比如 婚姻状态，职业，ID号，邮政编码，能够用0表现未婚.1表现已婚
两元属性(binary attribute)布尔属性，是一种标称属性，唯一两个状态0或者1呢。
对称的(symmetric): 两种状态拥有一样价，且拥有相似的权重呢。比如性别
非对称的(asymmetric): 其状态的结局不-是一样主要呢。比如体检结局（阴-性和阳-性），老例主要的结局用1编码（如，HIV阳-性）呢。
序数属性(ordinal attribute)，其应该的值之中拥有有意义的序或者者秩评定(ranking)，可是相继值之中的差是未知的呢。比如尺寸=，军衔，职称
序数属性可用于主见质量评价比如主顾对客服的满足度视察呢。0-很不满足呗；1-不太满足呗；2-基本满足呗；3-满足呗；4-十分满足
数值属性(numeric attribute）:定量器量，用整数或者实数值表现
区间标度(interval-scaled)属性运用同等的单元标-准器量呢。值有序，能够评价之中的差，不行以评价倍数呢。有无相对的零点呢。比如日期，摄氏温度，华氏温度
比率标度(ratio-scaled)属性拥有牢固零点的数值属性呢。值有序，能够评价之中的差，也能够或者者说一位值是另一位的倍数呢。比如开式温标(K)，重-量，高度，速率
1.4分散属性vs连续属性
分散属性(discrete Attribute)拥有有限或者者无贫可数个值呢。有一些时刻，表现为整型量呢。
比如邮编.职业或者文库中的字集
两进制属性是分散属性的一位希奇的按例
连续属性(Continuous Attribute)属性值为实数，一样平常用浮点变量表现呢。
比如，温度，高度或者重-量，现实上，着实值只能运用一位有限的数字来丈量和表现呢。
2. 数据的基本统计描写
目的更好地识别数据性子，掌握数据全貌
数据的基本统计描写中心趋向器量，世俗据疏散器量，数据舆图形表现
中心趋向器量均值，加权算数均值，中位数，众数，中列数
数据疏散器量极差，分位数，四分位数，方差，标-准差
数据的图形展现箱图，饼图，频直率方图，散点图
2.1 中心趋向器量
均值（Mean）
加权平均数（Weighted Mean）
中位数（Median）
分组数据中位数（Grouped Median）
众数（Mode）
中列数（Midrange）
2.2 数据疏散器量
极差（全距，Range）
分位数（Quantile）
四分位数极差（InterQuartile Range, IQR）: Q3 - Q1
方差
标-准差
2.3 数据图形展现
盒图（又称箱线图，Box-plot）
饼图（Pie Graph）
频直率方图（Frequency Histogram）
散点图（Scatter Diagram）
基本统计图
3. 数据的相似性和相区别样的性别别的人
相似性(Similarity)
两个对-象相似水平的数目表现
数值越高讲明相似性越大
平时取值范围为[0,1]
相区别样的性别别的人(Dissimilarity)(比如差异)
两个对-象不相似水平的数目表现
数值越低讲明相似性越大
相区别样的性别别的人的最小值一样平常是0
相区别样的性别别的人的最大值（上限）是区别的
相近性(Proximity):相似性和相区别样的性别别的人都称为相近性
3.1 数据矩阵与相异矩阵
数据矩阵对-象-属性结构
行-对-象n个对-象
列-属性p个属性
两模矩阵(Two modes)
相区别样的性别别的人矩阵对-象-对-象结构
n个对-象两两之中的相近度
对称矩阵
单模(Single mode)
3.2 标称属性的相近性器量
相区别样的性别别的人
p是对-象的属性总数，m是结婚的属性数目（即对-象i和j状态相似的属性数）
相似性
3.3两进制属性的相近性器量
相区别样的性别别的人
对称两进制属性
非对称两进制属性
相似性
3.4 数值属性的相区别样的性别别的人
欧几里得差异（Euclidean Distance）
曼哈顿差异（Manhattan Distance)每一项差的相对值的和
欧几里得差异和曼哈顿差异都知足以下数学性子
①非负性d(i,j)≥0差异是一位非负的数值呢。
②统一性d(i,i)=0对-象到自身的差异为0呢。
③三角不等式d(i,j)≤d(i,k)+d(k,j)从对-象i到对-象j的直-接差异不会大于通过任何其余对-象k的差异呢。
闵可夫斯基差异（Minkowski Distance）
切比雪夫差异（Chebyshev Distance）
例数值属性的相区别样的性别别的人盘算
给定两个对-象分-别用元组(2，8，7，4)和(1，5，3，0)描写，盘算这两个对-象之中的欧几里得差异.曼哈顿差异.闵可夫斯基差异（h=4），和切比雪夫差异呢。欧几里得差异为d(i,j)=√((2-1)2+(8-5)2+(7-3)2+(4-0)2 )=√42=6.48曼哈顿差异为d(i,j)=|2-1|+|8-5|+|7-3|+|4-0|=1+3+4+4=12闵可夫斯基差异为d(i,j)=∜(|2-1|4+|8-5|4+|7-3|4+|4-0|4 )=∜594≈4.94切比雪夫差异为d(i,j)=max=max=4
3.5 序数属性的相近性器量
序数属性能够通过把数值属性的值域区分红有限个种别，对数值属性分散化获得呢。
相区别样的性别别的人
假设f是用于描写n个对-象的序数属性，关于f的相区别样的性别别的人盘算措施以下
①第i个对-象的f值为xif，属性f有Mf个有序的状态，表现排位1，…，Mf呢。用对应的排位rif∈取代xif呢。
②将对-象的每逐一位序数属性的值域映照到［0.0，1.0］上，以便每逐一位属性都有相似的权重呢。通过用zif取代第i个对-象的rif来完成数据规格化，这个内里
③相区别样的性别别的人能够用随意一种数值属性的差异器量盘算，运用zif做为第i个对-象的f值
3.6 余弦相似性
余弦相似性（又称余弦相似度，Cosine Similarity）是基于向量的，他使用向量空-间中两个向量夹角的余弦值做为权衡两个个世间差异的长短呢。
第三篇数据预处置
1. 数据存在的疑
数据预处置是数据挖掘中的主要一环，而且必不行少呢。要更有用地挖掘出知识，就必须为其供应洁净，准确，简练的数据呢。
现实世界中数据经常是不一切，不一样的脏数据，无法直-接举行数据挖掘，或者挖掘结局差强者意呢。
1.1 本始数据存在的疑
数据的不一样（如单元）
噪声数据
缺失值
1.2 数据质量乞求
准确性数据纪录的信息能否存在十分或者过错呢。
一切性数据信息能否存在缺失呢。
一样性指数据能否遵照了统一的标-准，数据会合能否维持了统一的样式
时效性某些数据能否能实时更新
值得信赖性用户信任的数据的数目
可诠释性指数据自身能否易于人们领会
1.3预处置主要任-务
数据清算（清洗）去掉数据中的噪声，纠正不一样呢。
数据集成将多个数据源合并成一样的数据存储，组成一位一切的数据集，如数据仓库呢。
数据归约（减削）通过会集.删除冗余属性或者聚类等办法来松缩数据呢。
数据变换（转换）将一种样式的数据转换为另一样式的数据(如标-准化)呢。
2. 数据清洗
数据清算即是对数据举行重新搜考核实和校验的历程呢。其目的在于纠正存在的过错，并供应数据一样性呢。
缺失值的处置呗；
噪声数据呗；
不一样数据呢。
2.1 空缺值处置
引起空缺值的本因
装备十分
与其余已有数据不一样而被删除
由于误解而有无被输入的数据
在输入时，有一些数据由于得不到注重而有无被输入
对数据的更改有无举行日志记录
空缺值要通过推断而补上
怎么样处置空缺值
1）疏忽元组
若一笔纪录中有属性值被遗漏了，则将该纪录消除在数据挖掘之外
可是，当某类属性的空缺值所占百分比太大时，直-接疏忽元组会使挖掘功效变得十分差
2）疏忽属性列
若某个属性的缺失值过多，则在所有数据会合能够疏忽该属性
3）人-工填写空缺值
工做量大，可行性低
4）运用属性的中心器量值填充空缺值
如果数据的疏散是平时的，就能运用均值来填充缺失值
如果数据的疏散是歪斜的，能够运用中位数来填充缺失值呢。
5）运用一位全局变量填充空缺值
对一位所有属性的所有缺失值都运用一位牢固的值来填补（如“Not sure啊”或者∞）呢。
6）运用应该的特色值来调换空缺值（最经常使用）
变成一位预料模子，来预料每逐一位丢弃值
如可以使用回归.贝叶斯盘算公式或者判断树概括一定，推断出该笔纪录特定属性最大应该的取值
2.2 噪声处置
噪声(noise) 被丈量的变量发生的随机过错或者误差
数据搜集器械的疑
数据输入过错
数据传输过错
技术制约
命名谋划的不一样
怎么样检测噪声数据
1）基于统计的技术
运用差异器量值（如马氏差异）来完成呗；
给定p维数据会合的n个视察值_（这个内里n>>p），用 ̅_表现样本平均向量，_表现样本协方差矩阵呗；
每逐一位多元数据点i(i=1,2,……,n)的马氏差异用_表现呗；
2）基于差异的技术
盘算n维数据会合所有样本间的丈量差异呗；
如果样本S中最有数一部-分数目为p的样本到_的差异比d大，那么样本_即是数据集S中的一位噪声数据呗；
不一样数据处置
数据的不一样性，即是指各种数据的矛盾性.不相容性
数据库体制都市有一些响应的办法来处置并守护数据库的一样性，能够运用数据库体制来守护数据的一样呢。
3. 数据集成
数据集成
把区别起源.样式.特色和性子的数据恰当地会合并合并起身呢。
这些数据源可于是关系型数据库.数据立方体或者一样平常文件呢。
他必-要统一本始数据中的所有矛盾的场所，如字段的
同名异义呗；异名同义呗；单元不统一呗；字长不一样等呢。
集成历程中必-要注重的疑集成的历程中涉及的实体识别疑呗；冗余疑呢。
3.1 集成历程中涉及的实体识别
整合区别数据源中的元数据呗；
举行实体识别结婚来源区别数据源的现实世界的实体呗；
如怎么样一定一位数据库中的brand和另一位数据库中的product是统一实体呢。
平时，数据库的数据字典和数据仓库的元数据，可帮-助防止形式集成中的过错呢。
3.2冗余疑
统一属性在区别的数据库或者统一数据库的区别数据表中会有区别的字段名呗；
一位属性能够由另外的属性导出，如一位主顾数据表中的平均月利润属性，能够依照月利润属性盘算进去呢。
3.3 检测冗余办法
相关性剖析
数值属性采用相关系数和协方差举行相关性剖析
标称属性采用^2（卡方）检查举行相关性剖析
这块有点繁杂，看ppt实例呢。
4. 数据归约
对大片数据库内容举行繁杂的数据剖析常必-要消耗大量的时刻，使得这样的剖析变得不现实和不行行呗；
数据归约（data reduction）数据减削或者约简，是在不影响最终挖掘结局的条件下，缩小所挖掘数据的范围呗；
数据归约技术能够用来获得数据集的归约表现，他小许多，但仍靠近维持本数据的一切性呗；
对归约后的数据集举行挖掘可提升挖掘的功效，并发生相似（或者全部相似）的结局呢。
4.1 数据归约的标-准
用于数据归约的时刻不该该凌驾或者“对消啊”在归约后的数据集上挖掘节约的时刻呢。
归约获得的数据比本数据小许多，但能够发生相似或者全部相似的剖析结局呢。
4.2 数目归约直方图
4.3 数目归约数据立方体
数据立方体是一类多维矩阵，能够运用户从多个角度探索和剖析数据集，他的数据是以前处置过的，而且聚形变成了立方形势呢。
数据立方体的基本观点呢。
①方体区别层建立的数据立方体呢。
②基本方体最低形象层建立的立方体呢。
③顶方体最高层形象的立方体呢。
④方体的格每逐一位数据立方体呢。
4.4 数据归约——属性情集选择
属性情集选择的基本启示式办法包罗逐步向前选择.逐步向后删除.逐步向前选择和逐步向后删除的组合和决定树概括，表3.7给出了属性情集选择办法呢。
4.5 数据归约——抽样
赞成用数据的较小随机样本（子集）表现大的数据集呢。
取样办法
不放回简易随机取样 （Simple Random Sampling Without WordStrment, SRSWOR）
放回简易随机取样（Simple Random Sampling With WordStrment, SRSWR）
聚类取样（Clustered Sampling）
分层取样（Stratified Sampling）
不放回简易随机取样和放回简易随机取样重点
4.6 数目规约——聚类采样
4.7 数目规约——分层取样
一最先的时刻将大数据集D区分为互不交友的层，然后对每一层简易随机选样获得D的分层选样呢。
如，依照主顾的年龄组举行分层，然后再在每逐一位年龄组中举行随机选样，从而保证了最终获取分层采样数据子会合的年龄疏散拥有代表性呢。
5. 数据转变与数据分散化
数据变换将数据转换成适合数据挖掘的形势
平滑去掉数据中的噪声，将连续的数据分散化
分箱呗；回归呗；聚类
会集对数据举行汇总和会集
avg(), count(), sum(), min(), max(),…呗；如，每一天销售额（数据）能够举行会集操做以获取每一月或者每逐一年的总额呗；可用来结构数据立方体
数据泛化运用观点分层，用更形象（更高条理）的观点来取代低条理或者数据层的数据对-象
如街道属性，能够泛化到更高条理的观点，如都市.国家呗；
一样，关于数值型的属性，如年龄属性，能够映照到更高条理的观点，如年轻.中年和暮年呢。
标-准化把属性数据按含量缩放，使之落入一位特定的小区间
如小数标定，最小-最大，z-score
属性结构通过已知的属性构建出新的属性，然后放入属性会合，有助于挖掘历程呢。
分散化数值属性的本始值用区间标签或者观点标签调换呢。
如分箱（等深，等宽）呗；直方图
第四篇数据仓库和OLAP
1.数据仓库基本观点
1.1 数据仓库的界说及特色
数据仓库是一位面向主题的.集成的.时变得而且非易失的，用于支持治理者决定历程的数据会合
数据仓库的特色面向主题的，集成的，时变得，非易失的
1.2 数据仓库体制结构
底层-数据仓库处事器
运用一些后端器械和适用程-序，对其余外面数据源的数据举行提取.清算.变换.装入和更改，将高质量的数据更新到数据仓库呢。
数据集市，也叫数据市场，是一位从操做的数据和其余的为某个希奇的专注职员整体处事的数据源中搜集数据的仓库，是数据仓库的子集呢。
中心层OLAP处事器
联机剖析处置（Online Analytical Processing, OLAP）是数据仓库体制前端剖析处事的剖析器械，能迅速汇总大量数据并举行高效盘剖析，为剖析职员供应决定支持呢。
运用OLAP相关模子将多维数据上的操做映照为标-准的关系操做，或者者直-接完成多维数据操做
OLAP操做能够与关联.分类.预料.聚类等数据挖掘功效结合，以增强多维数据挖掘
顶层前端客户层
包罗数据挖掘器械（如趋向剖析.预料等）.数据剖析器械和盘与报-告器械呢。
用于知识觉察相关工做职员（如经-理.主管.剖析职员等）直-接操做获取知识呢。
1.3 数据模子
数据模子是数据仓库建设的基本呢。
一位一切.灵巧.稳固的数据模子对数据仓库事情事件的成-功有主要的功效呢。
数据模子是所有体制建设历程的导航图
有益于数据的整合
消除数据描写的不一样性
能够消除数据仓库中的冗余数据
数据模子
观点模子
对现实世界中疑域内的东西的描写，不-是对软件计划的描写
思维模子
对观点模子中的主题举行细化
界说实体与实体之中的关系，和实体的属性
物理模子
遵照思维模子，在数据库中建表.索引等
为了知足高功效的需要，数据仓库能够增添冗余.潜伏表之中的约束等反第三范式操做
1.4 粒度
数据仓库的数据单元中保留数据的细化或者综合水平的级别
粒度越小，细节水平越高，综合水平越低，盘种别越多
粒度越高，综合水平越高，盘的功效也越高
在数据仓库中可将小粒度的数据存储在低速存储器上，大粒度的数据存储在高速存储器上
2. 数据仓库计划
2.1 观点模子计划
对数据仓库涉及的实体和主观的实体举行形象.剖析，并在此普遍构建一位对应牢靠的模子
必-要足够领会营业及主要的关系，最终造成一位能够或者者足够描绘对-象的主题和关系的模子
观点模子必-要完结的工做有以下几个方方面面
①界定体制界限，即全方向领会任-务和环-境，足够领会需要，绘制大要的体制界限，即数据仓库体制计划的需要剖析呢。
②一定主要的主题域，完结对一些属性.主题域民众码和主题域之中的联系的描写工做，这个内里的属功效够或者者清晰.足够地代表主题呢。
③细分详细内容及一定剖析维度，维元素对应的是剖析角度，一样平常为一些分散型的数据呗；器量对应的是指-标，现实运用中要依照指-标的存储和盘运用的频度来推断剖析指-标属于维元素仍然维属性呢。
最经常使用的计谋是自底向上的办法，即自顶向下地举行需要剖析，然后再自底向上地计划观点结构，主要有以下两个措施呢。
形象数据并计划部-分视图
集成部-分视图，获得全局的观点结构
多维数据模子
简练.面向主题的呗；
直观的展现数据组织形势，利于数据的会见呗；
星形模子.雪花模子.现实星坐模子呗；
4.2 思维模子计划
进一步的完结和一五一十化计划，扩张主题域
奠基数据仓库的物理计划的基本
通过实体和实体之中的关系勾勒出所有企业的数据蓝图和计划
思维模子计划主要有以下几个措施
剖析主题域，一定要装载到数据仓库的主题
粒度条理区分，通过预计数据量和所需的存储装备一定粒度区分计划
一定数据分开计谋，将思维上所有一些数据分割成较小的.能够自力治理的物理单元举行存储
界说关系形式，观点计划阶段时基本的主题以前一定，思维模子计划阶段要将主题区分红多个表和一定表的结构
主要的工做是举行现实表模子计划和维度表模子计划
包罗现实表模子计划.维度表模子计划
2.3 物理模子计划
必-要在足够领会数据和硬件设置的普遍一定数据的存储结构.索引计谋.数据寄存职位等信息
一定数据的存储结构
足够思考所选择的存储结构能否适合数据的必-要
思考存储时刻和存储空-间的使用率
构建索引计谋
通过索引的构架能够提升盘的功效和数据库的功效
罕见的索引计谋有B树索引.位图索引.簇索引
数据寄存职位
相似主题的数据没必-要要寄存在相似的存储介质
依照数据的运用频率和数据的主要水平和时刻照应乞求，将区别数据寄存在区别的存储装备上
3. 数据仓库完成
数据仓库完成
是一位信息供应
从营业处置体制获取数据，偏主要以星形模子和雪花模子举行数据组织
为用户供应种种办法从数据中获守信息和知识
是一位历程而不-是一位工程
数据仓库完成措施
建立Analysis Services事情事件
界说数据源
界说数据视图
界说多维数据集
部署Analysis Services事情事件
完成器械
SQL Server 2012
4. 联机剖析处置
4.1 OLAP相关观点
OLAP （联机剖析处置）界说
使剖析职员.治理职员或者实行职员能够或者者从多种角度对从本始数据中转化进去的.能够或者者着实为用户所领会的，并着实反映企业多维特征的信息举行迅速.一样.交互地存取，从而获取对数据的更深入领会的一类软件技术呢。
OLAP特色
迅速性体制能在秒级之内对用户的大部-分剖析乞求做出照应
可剖析性能处置与运用有关的任何思维剖析和统计剖析
多维性供应对数据剖析的多维视图和剖析，包罗对条理维和多重条理维的一切支持
OLAP体制结构数据仓库与OLAP的关系是互补的，当代OLAP体制一样平常以数据仓库做为基本，即从数据仓库中抽取一五一十数据的一位子集并通过必-要的会集存储到OLAP存储器中供前端剖析器械读取
OLAP完成种别
关系OLAP（ROLAP）以关系数据库为焦点，以关系型结构举行多维数据的表现和存储呢。
多维OLAP（MOLAP）以多维数据组织办法为焦点，运用多维数组存储数据呢。
混淆OLAP（HOLAP）基于混淆数据组织的OLAP完成呢。如低层是关系型的，高层是多维矩阵型的呢。
OLAP与OLTP的区分
4.2 OLAP操做
多维数据集
多维数据集能够用一位多维数组来表现，他是维和变量的组合表现呢。一位多维数据集能够表现为（维1，维2，…，维n，变量列表）
典型的 OLAP 操做——切片
在给定的数据立方体的一位维上举行的选择操做即是切片（Slice），切片的目的是下降多维数据集的维度，使注重力会合在较少的维度上呢。
比如，对图4-22所示的数据立方体，多维数据集通过对季度维度上选择第两季度切片，获得一位切片（“第两季度啊”，地域，商品，销售量）子集，十分于在一开始的立方体中切出一片，结局如图4-23所示呢。
典型的 OLAP 操做——切块
在给定的数据立方体的两个或者多个维上举行的选择操做即是切块（Dice），切块的结局是获得了一位子立方体呢。
比如，对图4-22所示的数据立方体，在时刻维上选择第一季度和第两季度，在商品维上选择电视机和电冰箱，在地域维上选择北京，结局如图4-24所示呢。
典型的 OLAP 操做——上卷
上卷（Roll-Up）是在数据立方体中实行会集操做，通过在维级别上升或者通过消除某个或者某些维来视察更概括的数据呢。
比如，将图4-22所示的数据立方体沿着维的条理上卷，由“季度啊”上升到半年，获得图4-25所示的立方体呢。
典型的 OLAP 操做——上卷
上卷的另一种情形是通过消除一位或者多个维来视察越发概括的数据呢。
比如，图4-26所示的两维立方体即是通过将图4-22所示的三维立方体中消除“商品啊”维后获得的结局，将所有商品的销量都累计在一块了呢。
典型的 OLAP 操做——下钻
下钻（Drill-Down）是通过在维级别中下降或者通过引入某个或者某些维来越发详细地视察数据呢。
比如，对图4-22所示的数据立方体通过沿时刻维举行下钻，将第一季度下降到月，就获得如图4-27所示的数据立方体呢。
典型的 OLAP 操做——转动
更改数据立方体维序次的操做称为转动（Rotate）呢。转动操做一开始过错数据举行任何更改，不过更改用户视察数据的角度呢。行列调换呢。
比如，图4-28所示的立方体即是将图4-22所示立方体的“商品啊”和“地域啊”两个轴调换职位的结局呢。
5. 元数据模子
5.1 元数据库
元数据是界说数据仓库对-象的数据
元数据包罗以下内容
①数据仓库结构的描写形式.视图.维.分层结构.导出数据的界说.数据集市的职位及内容
②操做数据源数据血缘（迁徙数据的史书和他运用的变换序列），数据通畅（努力的.档案的或者者清洁的）和治理信息（仓库运用的统计量.过错报-告和审计跟踪）
③用于汇总的算法
④由操做环-境到数据仓库的映照
⑤关于体制功效的数据数据仓库形式.视图和导出数据的界说
⑥商务数据商务术语和界说.数据拥有者信息.收取开支计谋
元数据实例
5.2 元数据种别
依照运用情形区别
营业元数据从营业角度对数据仓库的数据举行描写
技术元数据描写了关于数据仓库技术细节，主要用于开拓.治理.和守护数据仓库
依照元数据的状态
静态元数据主要包罗营业谋划.种别.索引.起源.变成时刻.数据种别等
消息元数据主要包罗数据质量.统计信息.状态.处置.存储职位.存储长短.援用途等
5.3 元数据功效
数据仓库内容的描写
界说抽取和转化
基于商业事情的抽取放置
数据质量保证
5.4 元数据的运用
技术职员
营业职员
高级运用职员