《多元分析》 因子分析的概述讲解

因子分析

1 因子分析

§1引言 因子分析( factor analysis)是一种数据简化的技术 它通过研究众多变量之间的内部依赖关系,探求观测数据 中的基本结构,并用少数几个假想变量来表示其基本的数 据结构。这几个假想变量能够反映原来众多变量的主要信 息。原始的变量是可观测的显在变量,而假想变量是不可 观测的潜在变量,称为因子 例如,在企业形象或品牌形象的研究中,消费者可以 通过一个有24个指标构成的评价体系,评价百货商场的24 个方面的优劣

2 §1 引言 因子分析(factor analysis)是一种数据简化的技术。 它通过研究众多变量之间的内部依赖关系，探求观测数据 中的基本结构，并用少数几个假想变量来表示其基本的数 据结构。这几个假想变量能够反映原来众多变量的主要信 息。原始的变量是可观测的显在变量，而假想变量是不可 观测的潜在变量，称为因子。 例如，在企业形象或品牌形象的研究中，消费者可以 通过一个有24个指标构成的评价体系，评价百货商场的24 个方面的优劣

但消费者主要关心的是三个方面,即商店的环境 商店的服务和商品的价格。因子分析方法可以通过24 个变量,找出反映商店环境、商店服务水平和商品价格 的三个潜在的因子,对商店进行综合评价。而这三个公 共因子可以表示为: x1=1+anF1+a12F2+a33+E1i=1…,24 称F、F2、F3是不可观测的潜在因子。24个变量 共享这三个因子,但是每个变量又有自己的个性, 不被包含的部分61,称为特殊因子

3 但消费者主要关心的是三个方面，即商店的环境 、商店的服务和商品的价格。因子分析方法可以通过24 个变量，找出反映商店环境、商店服务水平和商品价格 的三个潜在的因子，对商店进行综合评价。而这三个公 共因子可以表示为： i i i F i F i F i x =  + + + +  1 1 2 2 3 3 i =1,  ,24 称 是不可观测的潜在因子。24个变量 共享这三个因子，但是每个变量又有自己的个性， 不被包含的部分 ，称为特殊因子。 F1、F2、F3 i 

因子分析与回归分析不同,因子分析中的因 子是一个比较抽象的概念,而回归因子有非常明 确的实际意义; 主成分分析分析与因子分析也有不同,主成 分分析仅仅是变量变换,而因子分析需要构造因 子模型 主成分分析:原始变量的线性组合表示新的 综合变量,即主成分; 因子分析:潜在的假想变量和随机影响变 量的线性组合表示原始变量

4 注： 因子分析与回归分析不同，因子分析中的因 子是一个比较抽象的概念，而回归因子有非常明 确的实际意义； 主成分分析分析与因子分析也有不同，主成 分分析仅仅是变量变换，而因子分析需要构造因 子模型。 主成分分析:原始变量的线性组合表示新的 综合变量，即主成分； 因子分析：潜在的假想变量和随机影响变 量的线性组合表示原始变量

§2因子分析模型 数学模型 设X(=1,2,…,p)p个变量,如果表示为 X=u,+aF++amm+E (msp) 「X1 12 F F 或 2 F P pm P 或X-p=AF+E 5

5 § 2 因子分析模型 一、数学模型 设 Xi (i =1,2,  , p) p 个变量，如果表示为 X a F a F i i i im m i = + + + +   1 1 (m  p) 1 1 11 12 1 1 1 2 2 21 22 2 2 2 1 2 m m p p p p pm p m X F X F X F                                            = + +                                 或 或X − = + μ AF 

称为F2F2…,Fn公共因子,是不可观测的变量 他们的系数称为因子载荷。是特殊因子,是不能被 前m个公共因子包含的部分。并且满足: coV(F,E)=0,F,E即不相关; D(F)= 即F12F2…F互不相关,方差为1

6 称为 公共因子，是不可观测的变量， 他们的系数称为因子载荷。 是特殊因子，是不能被 前m个公共因子包含的部分。并且满足： F F F m , , , 1 2  i  D F = I             = 1 1 1 ( )  cov( , ) 0, F  = F, 即不相关； F F F m , , , 即 1 2  互不相关，方差为1

D(E)= 即互不相关,方差不一定相等,E~N(0,a2)

7             = 2 2 2 2 1 ( ) p D      即互不相关，方差不一定相等，  i ~ N(0, i 2 )

用矩阵的表达方式 X-H=AF+EE(F)=0 E(a)=0 Var(F)=I E(F1)E(FE2)…E(F) E(25)E(F262)…E(F2En) COV(E, S)=E(F&) 0 E(F Ee(ee) E(FE) ar()=diag(a12,2…,a2)

8 用矩阵的表达方式 X -μ = AF + ε E( ) F 0 = E( ) ε = 0 Var( ) F I = 2 2 2 1 2 ( ) ( , , , ) Var diag =    p ε 1 1 1 2 1 2 1 2 2 2 1 2 ( ) ( ) ( ) ( ) ( ) ( ) cov( ) ( ) ( ) ( ) ( ) p p p p p p E F E F E F E F E F E F E E F E F E F                = = =        F,ε Fε 0

因子分析模型的性质 1、原始变量Ⅹ的协方差矩阵的分解 X-H=AF+E Var(X-p)=AVar(F)A+Var(s) ∑=AA′+D A是因子模型的系数 Var(a=d=diag(o D的主对角线上的元素值越小,则公共因子共享的成 分越多

9 二、因子分析模型的性质 1、原始变量X的协方差矩阵的分解 X -μ = AF + ε  Var Var Var ( ) ( ) ( ) X -μ = A F A + ε  Σx = AA + D A是因子模型的系数 2 2 2 1 2 ( ) ( , , , ) Var diag = =    p ε D D的主对角线上的元素值越小，则公共因子共享的成 分越多

2、因子载荷不是惟一的 设T为一个p×p的正交矩阵,令A=AT, FTF,则模型可以表示为 X=μ+AF+ε且满足条件因子模型的条件 E(TF)=0E(E)=0 Var(F)=Var(tF)=tvar(FT=I rar(8)=dlig(o,O2…) COV(F, 8)=E(F8)=0 10

10 2、因子载荷不是惟一的 设T为一个p×p的正交矩阵，令A*=AT， F*=T’F，则模型可以表示为 * * * X = μ + A F + ε E( ) T F 0  = E( ) ε = 0 * Var Var Var ( ) ( ) ( ) F T F T F T I = = =   2 2 2 1 2 ( ) ( , , , ) Var diag =    p ε * * cov( ) ( ) F ,ε = = E F ε  0 且满足条件因子模型的条件