数据分析与数据挖掘 第三章：线性模型
目录 口线性回归 ● 最小二乘法 ●梯度下降 口二分类任务 ● 对数几率回归-Logistic Regression 线性判别分析-Linear Discriminate Analysis 口多分类任务 一对一 一对其余 多对多 类别不平衡问题
p l l p l – Logistic Regression l – Linear Discriminate Analysis p l !! l ! l p
线性模型 分类 回归 △ △ 线性模型(linear model)试图学得一个通过属性的线性组合来进行预测的函数 f()=w11+w2x2 +...+wdxd+b 向量形式：f(x)=wx+b 简单、基本、可理解性好
(linear model)$ '% ! &") ( #
线性模型优点 口形式简单、易于建模 口可解释性 ▣非线性模型的基础 。引入层级结构或高维映射 ▣ 一个例子 综合考虑色泽、根蒂和敲声来判断西瓜好不好 其中根蒂的系数最大，表明根蒂最要紧；而敲声的系数比色泽大，说 明敲声比色泽更重要 “f好瓜(c)=0.2·x色泽十0.5·x根蒂十0.3·x敲声十1
p . E!( p >@ p B2(,- l 13& C4" p D l 5 6:8*E'9 % <+ l '9,/ $; '9$=07 ,/ )8*? )8*#A=
线性回归((linear regression) f(x)=wc;+b使得 学得一个线性模型以尽可能 准确地预测实值输出标记。 离散属性的处理：若有“序”(order),则连续化； 否则，转化为k维向量 Cost function 令均方误差最小化，有(w,b*)=argmin(f(a,）-)2 (w,b) i=1 m arg min (-w,-b) (w,b) i=1 对Eu,)=入(5-w:-b)2 进行最小二乘参数估计 i=1 (least square method)
-$" (linear regression) ,% $+ * 0) ! (order) 6. 4 k /7 '3 ( ) # 51( C2 least square method
线性回归-最小二乘法 线性回归中，最小二乘法就是试图找到一条直线，使所有 样本到直线上的欧式距离(vertical,y方向)之和最小： m Eu,=入(-wt-b)2 i=1 X=(X）∈R X=(X1,2)∈R2 ⊙ T2
! %- !& #% #%" '$
线性回归-最小二乘法 m E(w,)=∑(-a,-b)2 i=1 分别对W和b求导（凸函数）： ∂E(w,b ∂w =20∑号-∑-创 i=1 i=1 E(w.b) ∂b 令导数为0，得到闭式(closed-form)解： ∑(c-) i= m m 0= 品 Ti b= (4i-Wc） -品 (
0, (closed-form)
多元(multi--variate)线性回归 f(c)=wPci+b使得f(c)≈y i=(il;i2;...;id) ∈R 把w和b吸收入向量形式心=(w;b),数据集表示为 C11 C12 Xid 1 1 1 X= 21 C22 X2d y=(y1;y2;.;ym） Xm1
(multi-variate)
多元线性回归 同样采用最小二乘法求解，目标变为： arg min(y-Xu)(y-Xw) d 令Em=(y-X心)(y-X心)，对求导： ∂Em=2XT(Xw-） a 令其为零可得心 然而，麻烦来了：涉及矩阵求逆」 口若XTX满秩或正定，则心*=(XTX)XTy ▣若XX不满秩，则可解出多个) 此时需求助于归纳偏好，或引入正则化(regularization)→第6、11章
6" ';0% +*9 =! /7?.& ,1* 5 # ( (regularization) 46113
线性回归-梯度下降 初始点 J0o,01)。 最小值 对于线性回归，假设函数表示为： h(c1,x2,.xn)=00+01x1+..+0nxn. 其中6(i=0,1,2.n)为模型参数，x(i=0,1,2..n)为每个样本的n个特征 值。这个表示可以简化，我们增加一个特征x=1,有： ho(c0,t,.xn）=∑0 i=0 损失函数为： m J(o,01.,0n)=∑(ha(xo,c1,.xn）-)2 =0
#. θi (i = 0,1,2... n)$ xi (i = 0,1,2... n)%"!'n& -+( ) & x0 = 1 * , +(