聚类分析
1 聚类分析
§1什么是聚类分析 例对10位应聘者做智能检验。3项指标X,Y 和乙分别表示数学推理能力,空间想象能力和语 言理解能力。其得分如下,选择合适的统计方 法对应聘者进行分类 应聘者12345678910 28181121262016142422 XYZ 29232223292322232927 28181622262222242424
2 例 对10位应聘者做智能检验。3项指标X，Y 和Z分别表示数学推理能力，空间想象能力和语 言理解能力。其得分如下，选择合适的统计方 法对应聘者进行分类。 应聘者 1 2 3 4 5 6 7 8 9 10 X 28 18 11 21 26 20 16 14 24 22 Y 29 23 22 23 29 23 22 23 29 27 Z 28 18 16 22 26 22 22 24 24 24 §1 什么是聚类分析
Name of Observat ion or cluster 10 0.000.050.100.150.200.250.300.350.400.450.500.550.600.650.70 Semi-Part ial R-Squared
3
我们直观地来看,这个分类是否合理? 计算4号和6号得分的离差平方和 (21-20)2+(23-23)2+(22-22)2=1 计算1号和2号得分的离差平方和: (28-18)2+(2923)2+(28-18)2=236 计算1号和3号得分的离差平方和为482,由 此可见一般,分类可能是合理的,欧氏距离很 大的应聘者没有被聚在一起 由此,我们的问题是如何来选择样品间相 似的测度指标,如何将有相似性的类连接起来?
4 我们直观地来看，这个分类是否合理？ 计算4号和6号得分的离差平方和： (21-20)2+(23-23)2+(22-22)2=1 计算1号和2号得分的离差平方和： (28-18)2+(29-23)2+(28-18)2=236 计算1号和3号得分的离差平方和为482，由 此可见一般，分类可能是合理的，欧氏距离很 大的应聘者没有被聚在一起。 由此，我们的问题是如何来选择样品间相 似的测度指标，如何将有相似性的类连接起来？
聚类分析根据一批样品的许多观测 指标,按照一定的数学公式具体地计算 些样品或一些参数(指标)的相似程度, 把相似的样品或指标归为一类 思考:样本点之间按什么刻画相似程度 思考:样本点和小类之间按什么刻画相似程度 思考:小类与小类之间按什么刻画相似程度
5 聚类分析根据一批样品的许多观测 指标，按照一定的数学公式具体地计算 一些样品或一些参数(指标)的相似程度， 把相似的样品或指标归为一类。 思考：样本点之间按什么刻画相似程度 思考：样本点和小类之间按什么刻画相似程度 思考：小类与小类之间按什么刻画相似程度
§2相似系数和距离 变量测量尺度的类型 为了将样本进行分类,就需要研究样品之间的关 系;而为了将变量进行分类,就需要研究变量之间 的关系。但无论是样品之间的关系,还是变量之间 的关系,都是用变量来描述的,变量的类型不同, 描述方法也就不同。通常,变量按照测量它们的尺 度不同,可以分为三类 (1)间隔尺度。指标度量时用数量来表示,其数 值由测量或计数、统计得到,如长度、重量、收入 支出等。一般来说,计数得到的数量是离散数量, 测量得到的数量是连续数量。在间隔尺度中如果存 在绝对零点,又称比例尺度
6 一、变量测量尺度的类型 为了将样本进行分类，就需要研究样品之间的关 系；而为了将变量进行分类，就需要研究变量之间 的关系。但无论是样品之间的关系，还是变量之间 的关系，都是用变量来描述的，变量的类型不同， 描述方法也就不同。通常，变量按照测量它们的尺 度不同，可以分为三类。 (1)间隔尺度。指标度量时用数量来表示，其数 值由测量或计数、统计得到，如长度、重量、收入、 支出等。一般来说，计数得到的数量是离散数量， 测量得到的数量是连续数量。在间隔尺度中如果存 在绝对零点，又称比例尺度。 §2 相似系数和距离
(2)顺序尺度。指标度量时没有明确的数量表示, 有次序关系,或虽用数量表示,但相邻两数值之间的差距 并不相等,它只表示一个有序状态序列。如评价酒的味道 分成好、中、次三等,三等有次序关系,但没有数量表示 (3)名义尺度。指标度量时既没有数量表示也没有次 序关系,只有一些特性状态,如眼睛的颜色,化学中催化 剂的种类等。在名义尺度中只取两种特性状态的变量是很 重要的,如电路的开和关,天气的有雨和无雨,人口性别 的男和女,医疗诊断中的“十”和“一”,市场交易中的 买和卖等都是此类变量
7 (2)顺序尺度。指标度量时没有明确的数量表示，只 有次序关系，或虽用数量表示，但相邻两数值之间的差距 并不相等，它只表示一个有序状态序列。如评价酒的味道， 分成好、中、次三等，三等有次序关系，但没有数量表示。 (3)名义尺度。指标度量时既没有数量表示也没有次 序关系，只有一些特性状态，如眼睛的颜色，化学中催化 剂的种类等。在名义尺度中只取两种特性状态的变量是很 重要的，如电路的开和关，天气的有雨和无雨，人口性别 的男和女，医疗诊断中的“十”和“一” ，市场交易中的 买和卖等都是此类变量
数据的变换处理 所谓数据变换,就是将原始数据矩阵中的每个元素, 按照某种特定的运算把它变成为一个新值,而且数值的变 化不依赖于原始数据集合中其它数据的新值。 1、中心化变换 中心化变换是一种坐标轴平移处理方法,它是先求出 每个变量的样本平均值,再从原始数据中减去该变量的均 值,就得到中心化变换后的数据。 设原始观测数据矩阵为: 12 2p 2 np 8
8 二、数据的变换处理 所谓数据变换，就是将原始数据矩阵中的每个元素， 按照某种特定的运算把它变成为一个新值，而且数值的变 化不依赖于原始数据集合中其它数据的新值。 1、中心化变换 中心化变换是一种坐标轴平移处理方法，它是先求出 每个变量的样本平均值，再从原始数据中减去该变量的均 值，就得到中心化变换后的数据。 设原始观测数据矩阵为： = n n np p p x x x x x x x x x 1 2 21 22 2 11 12 1 X
(i=1,2,3,…,m;j=1,2,3,…,p) ∑x(=12,3,…,p) 中心化变换的结果是使每列数据之和均为0,即每个变量 的均值为0,而且每列数据的平方和是该列变量样本方差 的(n-1)倍,任何不同两列数据之交叉乘积是这两列变量 样本协方差的(n-1)倍,所以这是一种很方便地计算方差 与协方差的变换
9 ij ij j x = x − x * (i =1,2,3, ,n; j =1,2,3, , p) 中心化变换的结果是使每列数据之和均为0，即每个变量 的均值为0，而且每列数据的平方和是该列变量样本方差 的(n—1)倍，任何不同两列数据之交叉乘积是这两列变量 样本协方差的(n—1)倍，所以这是一种很方便地计算方差 与协方差的变换。 ( 1,2,3, , ) 1 1 x j p n x n i j = i j = =
2、极差规格化变换 规格化变换是从数据矩阵的每一个变量中找出其最大值 和最小值,这两者之差称为极差,然后从每个变量的每个 原始数据中减去该变量中的最小值,再除以极差,就得到 规格化数据。即有 xi-min(x,) i=1,2,…,n i=1,2,3,…,m;j=1,2,3,…,p) R R maX (x min(x 1,2…n~ i=1,2 0<x<1 10
10 2、极差规格化变换 规格化变换是从数据矩阵的每一个变量中找出其最大值 和最小值，这两者之差称为极差，然后从每个变量的每个 原始数据中减去该变量中的最小值，再除以极差，就得到 规格化数据。即有： j i n ij ij ij R x x x * 1,2, , min( ) = − = (i =1,2,3, ,n; j =1,2,3, , p) i n ij ij i n j R x x 1,2, , 1,2, , max ( ) min( ) = = = − 0 1 * xij