简介 1.1简介 1 1.2 正交因子模型 5 1.3参数估计 11 1.3.1 主成分法 12 1.3.2 迭代主因子法 16 1.3.3 最大似然方法 19 1.4因子旋转 22 1.5 因子得分 28 1.6FA和PCA 35 Previous Next First Last Back Forward 1
简介 1.1 简介 . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 正交因子模型 . . . . . . . . . . . . . . . . . . 5 1.3 参数估计 . . . . . . . . . . . . . . . . . . . . 11 1.3.1 主成分法 . . . . . . . . . . . . . . . . 12 1.3.2 迭代主因子法 . . . . . . . . . . . . . . 16 1.3.3 最大似然方法 . . . . . . . . . . . . . . 19 1.4 因子旋转 . . . . . . . . . . . . . . . . . . . . 22 1.5 因子得分 . . . . . . . . . . . . . . . . . . . . 28 1.6 FA 和 PCA . . . . . . . . . . . . . . . . . . . 35 Previous Next First Last Back Forward 1
1.1 简介 ·因子分析起源于20世纪初，K.皮尔逊(Pearson)和C.斯皮尔 曼(Spearman)等学者为定义和测定智力所作的努力，主要是 由对心理测量学有兴趣的科学家们培育和发展了因子分析。 ·因子分析常用于对不能直接观测的变量，例如智力，音乐能力， 爱国主义，消费者态度等等，进行推断，这类变量称为隐变量， ·隐变量(latent variable)是指不能直接观测到的变量，但是可 以从一组可观测变量的相关关系中导出。 ·例如我们知道虚弱所表达的状况，但是无法测量。我们认为它 可以通过比如力量、重量、速度、平衡性等其他方面的测量（可 观测变量)来确定.因此隐变量“虚弱”应该可以通过这些可测 量的量来表示 Previous Next First Last Back Forward
1.1 简介 • 因子分析起源于 20 世纪初, K. 皮尔逊 (Pearson) 和 C. 斯皮尔 曼 (Spearman) 等学者为定义和测定智力所作的努力，主要是 由对心理测量学有兴趣的科学家们培育和发展了因子分析。 • 因子分析常用于对不能直接观测的变量, 例如智力, 音乐能力, 爱国主义, 消费者态度等等, 进行推断, 这类变量称为隐变量. • 隐变量（latent variable）是指不能直接观测到的变量，但是可 以从一组可观测变量的相关关系中导出。 • 例如我们知道虚弱所表达的状况，但是无法测量。我们认为它 可以通过比如力量、重量、速度、平衡性等其他方面的测量（可 观测变量）来确定. 因此隐变量“虚弱”应该可以通过这些可测 量的量来表示. Previous Next First Last Back Forward 1
·因子分析中称隐变量为因子(Factor): ·个体在一个或多个因子上取值的变化可以影响可观测变量中的 多个变量（某个变量子集），从而导致该子集内变量之间高度相 关. ·因子分析常包括探索性因子分析(Exploratory FA)和验证性因 子分析(Confirmatory FA)两类 ·探索性因子分析常用来降维，降维的方式是试图用少数几个潜 在的，不可观测的随机变量（因子）来描述原始变量间的协方 差关系.“探索性”是指在没有对可观测变量之间，以及可观 测变量与因子之间的线性关系赋予任何结构，而只指定隐变量 (latent variables)的个数， ·验证性因子分析则常用来研究一个假设的因子模型对一组新的 样本拟合程度如何，其允许对模型中的参数进行限制。 Previous Next First Last Back Forward 2
• 因子分析中称隐变量为因子 (Factor). • 个体在一个或多个因子上取值的变化可以影响可观测变量中的 多个变量 (某个变量子集), 从而导致该子集内变量之间高度相 关. • 因子分析常包括探索性因子分析(Exploratory FA) 和验证性因 子分析(Confirmatory FA) 两类. • 探索性因子分析常用来降维, 降维的方式是试图用少数几个潜 在的, 不可观测的随机变量（因子）来描述原始变量间的协方 差关系. “探索性”是指在没有对可观测变量之间，以及可观 测变量与因子之间的线性关系赋予任何结构，而只指定隐变量 (latent variables) 的个数. • 验证性因子分析则常用来研究一个假设的因子模型对一组新的 样本拟合程度如何，其允许对模型中的参数进行限制. Previous Next First Last Back Forward 2
EFA vs.CFA Exploratory FA Confirmatory FA 因子个数未知 固子个数报据理论来设置 杭荷模式未知 载荷模式由理论决定 (例如所有的因子在所有变量) (e.g.Yi=hF+6) 可以不是可识别的 一般是可识别的 国子是不相头的 因子可以是相关的 如+① ☑① 2② Y2② 33 Y闪3 F2 Y4④ Y4@ Exploratory FA Confirmatory FA Previous Next First Last Back Forward 3
Previous Next First Last Back Forward 3
下Example CFA:一家市场研究公司希望了解消费者如何选择光顾哪家商店 ↓Example ·随机对光顾每家商店的消费者进行了包含80(p=80)道问题 的问卷调查 ·市场研究人员提出假设消费者的选择是基于几个潜在的因子： 商店人员的友好程度，消费者服务水平，商店气氛，产品种类， 产品质量和一般的价格水平 ·因子分析使用80个问题的响应值之间的相关性来决定80个变 量是否可以分为6组，每组分别反映所假设的一个因子 Previous Next First Last Back Forward 4
↑Example CFA：一家市场研究公司希望了解消费者如何选择光顾哪家商店. ↓Example • 随机对光顾每家商店的消费者进行了包含 80(p = 80) 道问题 的问卷调查 • 市场研究人员提出假设 消费者的选择是基于几个潜在的因子: 商店人员的友好程度, 消费者服务水平, 商店气氛, 产品种类, 产品质量和一般的价格水平. • 因子分析使用 80 个问题的响应值之间的相关性来决定 80 个变 量是否可以分为 6 组, 每组分别反映所假设的一个因子. Previous Next First Last Back Forward 4
1.2 正交因子模型 ·X=(X1,,Xp)/为p维观测变量，其均值和协方差矩阵分别 为μ和∑. ·因子分析模型假定X可以表示为m个公共因子(common fac- tors)E,,Fm和p个特殊因子(unique factors)e1,·,ep的 线性组合 X1-41=l11F+l12F2+…+l1mFm+e1 X2-2=l21F+l22F+…+l2mFm+2 Xp -up lpiF lp2F2+..+lpm Fm ep 其中l,称为第i个变量在第j个因子上的因子负荷(factor loading) Previous Next First Last Back Forward 5
1.2 正交因子模型 • X = (X1, . . . , Xp) ′ 为 p 维观测变量, 其均值和协方差矩阵分别 为 µ 和 Σ. • 因子分析模型假定 X 可以表示为 m 个公共因子 (common factors)F1, . . . , Fm 和 p 个特殊因子 (unique factors)ϵ1, . . . , ϵp 的 线性组合 X1 − µ1 = l11F1 + l12F2 + · · · + l1mFm + ϵ1 X2 − µ2 = l21F1 + l22F2 + · · · + l2mFm + ϵ2 . . . Xp − µp = lp1F1 + lp2F2 + · · · + lpmFm + ϵp 其中 lij 称为第 i 个变量在第 j 个因子上的因子负荷 (factor loading). Previous Next First Last Back Forward 5
·表达成矩阵形式：Xpx1=μ+Lp×mF+∈，L称为因子负荷阵 上述模型和线性模型形式非常相像，但是注意右边每个量我们 均不能直接观测到，即公共因子和特殊因子均为随机变量且不 能直接观测到.因此需要假定一些结构才能进行推断 正交因子模型(Orthogonal factor model)假设 (1).EF=0,Var(F)=E(FF')=Im (2).Ee=0,Var(e)=E(ce')==diag(v1,...,p} (3).cou(F,e)=0 ·在正交因子模型假设下Cow(Xi,F)=l,以及 ∑=Var(X)=Var(LF+e)=LL'+亚 Previous Next First Last Back Forward 8
• 表达成矩阵形式: Xp×1 = µ + Lp×mF + ϵ, L 称为因子负荷阵. 上述模型和线性模型形式非常相像, 但是注意右边每个量我们 均不能直接观测到, 即公共因子和特殊因子均为随机变量且不 能直接观测到. 因此需要假定一些结构才能进行推断. 正交因子模型 (Orthogonal factor model) 假设 (1). EF = 0, V ar(F) = E(FF′ ) = Im (2). Eϵ = 0, V ar(ϵ) = E(ϵϵ ′ ) = Ψ = diag{ψ1, . . . , ψp} (3). cov(F, ϵ) = 0 • 在正交因子模型假设下 Cov(Xi, Fj ) = lij , 以及 Σ = V ar(X) = V ar(LF + ϵ) = LL′ + Ψ Previous Next First Last Back Forward 6
特别， =VarX)=号+4=+ =mX,X)=i≠ ·方差c:由两部分构成：由m个公共因子贡献的部分，h经，称 为共性或共性方差(communality);由公共因子不能解释（由特 殊因子解释)的部分称为特殊方差(uniqueness,.specific vari- ance). ·由协方差结构假设，正交因子模型假定了p(p+1)/2个方差参 数可以通过pm+p个参数表达 ·出于降维的需要，我们常常希望m要比p小得多，这样分解式 ∑=LL'+亚通常只能近似成立.一般来说，m选取得越小，上 Previous Next First Last Back Forward 1
特别, σii = V ar(Xi) = ∑m j=1 l 2 ij + ψi := h 2 i + ψi σij = cov(Xi, Xj ) = ∑m k=1 likljk, i ̸= j • 方差 σii 由两部分构成: 由 m 个公共因子贡献的部分, h 2 i , 称 为共性或共性方差(communality); 由公共因子不能解释 (由特 殊因子解释) 的部分称为特殊方差(uniqueness, specific variance). • 由协方差结构假设, 正交因子模型假定了 p(p + 1)/2 个方差参 数可以通过 pm + p 个参数表达. • 出于降维的需要，我们常常希望 m 要比 p 小得多, 这样分解式 Σ = LL′ + Ψ 通常只能近似成立. 一般来说, m 选取得越小, 上 Previous Next First Last Back Forward 7
述近似效果就越差，即因子模型拟合得越不理想.拟合得太差 的因子模型是没有什么实际意义的」 ·注意不是所有的协方差矩阵∑都可以分解为工L'+亚（见课本 例9.2). ·公共因子F和负荷阵L不唯一：对任意正交矩阵T有 X-u=LF+=(LT)(T'F)+E=L'F*+e L*,F*满足正交因子模型的所有假设.因此因子负荷阵 L=LT和L 在解释协方差Σ时候是等价的」 ·由正交矩阵的性质，称正交变换工T,TF为因子旋转.在合适 的准则下对因子负荷阵工进行旋转，以期得到更易解释的结果。 Previous Next First Last Back Forward 8
述近似效果就越差, 即因子模型拟合得越不理想. 拟合得太差 的因子模型是没有什么实际意义的. • 注意不是所有的协方差矩阵 Σ 都可以分解为 LL′ + Ψ(见课本 例 9.2). • 公共因子 F 和负荷阵 L 不唯一: 对任意正交矩阵 T 有 X − µ = LF + ϵ = (LT)(T ′F) + ϵ = L ∗F ∗ + ϵ L ∗ , F ∗ 满足正交因子模型的所有假设. 因此因子负荷阵 L ∗ = LT 和 L 在解释协方差 Σ 时候是等价的. • 由正交矩阵的性质, 称正交变换 LT, T ′F 为因子旋转. 在合适 的准则下对因子负荷阵 L 进行旋转, 以期得到更易解释的结果. Previous Next First Last Back Forward 8
对两因子验证关系∑=LL'+亚. TExample Example 考虑协方差矩阵 19 30 2 12 30 = 57 5 23 2 5 38 47 12 23 47 68 可以解出 2 0 0 0 4 0 0 1 0 0 0 0 3 =LL'+亚. Previous Next First Last Back Forward 9
↑Example 对两因子验证关系 Σ = LL′ + Ψ. ↓Example 考虑协方差矩阵 Σ = 19 30 2 12 30 57 5 23 2 5 38 47 12 23 47 68 . 可以解出 Σ = 4 1 7 2 −1 6 1 8 [ 4 7 −1 1 1 2 6 8 ] + 2 0 0 0 0 4 0 0 0 0 1 0 0 0 0 3 = LL′ + Ψ. Previous Next First Last Back Forward 9
