第七章回归分析 现实世界中的种种现象大体可分为确定性现象和随机 现象,因此表现在变量与变量之间的关系大致可分为: (1)确定性关系,即大家熟知的函数关系,如圆的面积 与圆的半径的关系 (2)相关关系.如人的身高与体重,农作物的总产量与种 植面积,农作物的单位面积产量与施肥量等等.其特点 是:变量之间既有密切的关系,但又不能由一个变量的 数值精确地定出另一个变量的数值,也就是这两个变量 之间的关系不能用函数关系来表示我们称变量之间的 这种关系为相关关系 湘潭大学数学与计算科学学院一页一页
湘潭大学数学与计算科学学院 上一页 下一页 1 第七章 回归分析 现实世界中的种种现象大体可分为确定性现象和随机 现象,因此表现在变量与变量之间的关系大致可分为: (1)确定性关系,即大家熟知的函数关系, 如圆的面积 与圆的半径的关系. (2)相关关系.如人的身高与体重,农作物的总产量与种 植面积,农作物的单位面积产量与施肥量等等.其特点 是:变量之间既有密切的关系,但又不能由一个变量的 数值精确地定出另一个变量的数值,也就是这两个变量 之间的关系不能用函数关系来表示.我们称变量之间的 这种关系为相关关系
对于相关关系,虽然不能找出变量之间确定的 函数表达式,但通过大量的观测数据,可以发现它 们之间存在一定的统计规律性.回归分析就是研究 相关关系的一种有效方法 湘潭大学数学与计算科学学院一页一页
湘潭大学数学与计算科学学院 上一页 下一页 2 对于相关关系,虽然不能找出变量之间确定的 函数表达式,但通过大量的观测数据,可以发现它 们之间存在一定的统计规律性.回归分析就是研究 相关关系的一种有效方法
§7.1一元线性回归分析 设有两个变量X和V,其中X是可以精确测量或控 制的非随机变量,而Y是随机变量,Y随X的变化而变 化,但它们之间的变化关系是不确定的给定X的取 值,Y服从一定的概率分布,则称随机变量Y与变量X 之间存在着相关关系 设进行n次独立试验,测得试验数据如下: x2 VI y2 yn 其中x表示变量X在第i次试验中的观测值,y表 示随机变量Y相应的观测值 湘潭大学数学与计算科学学院一页一页
湘潭大学数学与计算科学学院 上一页 下一页 3 §7.1 一 元线性回归分析 设有两个变量X和Y,其中X是可以精确测量或控 制的非随机变量,而Y是随机变量,Y随X的变化而变 化,但它们之间的变化关系是不确定的.给定X的取 值,Y服从一定的概率分布,则称随机变量Y与变量X 之间存在着相关关系. 设进行n次独立试验,测得试验数据如下: X x1 x2 … xn Y y1 y2 … yn 其中 xi表示变量 X 在第 i 次试验中的观测值,yi表 示随机变量 Y 相应的观测值
由于Y是随机变量,且其概率分布随X的取值而变化, 所以我们希望取在X=x时随机变量Y的数学期望作为 X=x时Y的估计值,即 j=E(IX=x) (1.1) 显然,E(Y|X=x)是x的函数,记作 u(x)=EYIX=x) (1.2) 这样,我们得到一个确定的函数关系式 =(x) (1.3) 来大致地描述Y与X之间的变化规律 湘潭大学数学与计算科学学院一页一页
湘潭大学数学与计算科学学院 上一页 下一页 4 由于Y是随机变量,且其概率分布随X的取值而变化, 所以我们希望取在X=x时随机变量Y的数学期望作为 X=x时Y的估计值,即 y ˆ = E(Y | X = x). (1.1) 显然, E(Y | X = x)是 x 的函数,记作 (x) = E(Y | X = x). (1.2) 这样,我们得到一个确定的函数关系式 yˆ = (x) (1.3) 来大致地描述 Y 与 X 之间的变化规律
函数(x)称为Y关于X的回归函数,方程(1.3)称为Y关 于X的回归方程.回归方程反映了Y的数学期望随X的 变化而变化的规律性 一般来说,从任意的x的函数中找出回归函数y(x)是非 常困难的,因此通常限制八(x)为某一类型的函数确定 y(x)的函数类型后,就可设 (x)=以(x;a,a,…,a) 其中a1,a2,…a为未知参数,只要确定了这些未知参 数就确定了Y关于X的回归方程 湘潭大学数学与计算科学学院一页一页
湘潭大学数学与计算科学学院 上一页 下一页 5 函数(x)称为 Y 关于 X 的回归函数,方程(1.3)称为 Y 关 于 X 的回归方程. 回归方程反映了 Y 的数学期望随 X 的 变化而变化的规律性. 一般来说,从任意的 x 的函数中找出回归函数(x)是非 常困难的,因此通常限制(x)为某一类型的函数.确 定 (x)的函数类型后,就可设 ( ) ( ; , , , ), x = x a1 a2 ak (1.4) 其 中 k a ,a , ,a 1 2 为未知参数,只要确定了这些未知参 数,就确定了 Y 关于 X 的回归方程
我们采用最小二乘法来确定这些未知参数,即要求选取 μ(x;a1,a2,…,a)中的参数使得观测值;与相应的函数 值山(x;an,an,…,a,)(i=1,2,,n)的离差平方和最小,也 就是a,a2,…,a满足: ∑-从(x;a mn fana,, n) ∑-(x;aa,…a)} 为解(1.5),可分别求∑-以(x;a1,a2x…a)对 i=1 a1,a2,…,a偏导数,并令其偏导数等于零,得到一方程组, 湘潭大学数学与计算科学院一页一页]6
湘潭大学数学与计算科学学院 上一页 下一页 6 我们采用最小二乘法来确定这些未知参数,即要求选取 ( ) x a a ak ; , , , 1 2 中的参数,使得观测值 i y 与相应的函数 值 ( ) xi a a ak ; , , , 1 2 (i=1,2,…,n)的离差平方和最小,也 就是a a ak ˆ , ˆ , , ˆ 1 2 满足: min { [ ( ; ˆ ,ˆ ,..., ˆ )] } [ ( ; ˆ ,ˆ ,..., ˆ )] 1 2 1 2 { , ,.., } 1 2 1 2 1 2 = = = − − n i i i k a a a n i i i k y x a a a y x a a a n (1.5) 为 解 (1.5), 可 分 别 求 = − n i i xi a a ak y 1 2 1 2 [ ( ; , ,..., )] 对 a a ak , , , 1 2 偏导数,并令其偏导数等于零,得到一方程组
解此方程组即可求得a1,a2,…,an的估计值a,a2,…,a 则回归方程为 j=u(x; a an) 1.6 为便于确定回归函数八(x)中的未知参数我们 现在来讨论变量Y与X之间存在线性相关关系的 情形,即回归函数山(x)为一元线性函数情形 湘潭大学数学与计算科学学院一页一页
湘潭大学数学与计算科学学院 上一页 下一页 7 解此方程组即可求得a a ak , , , 1 2 的估计值a a ak ˆ , ˆ , , ˆ 1 2 则回归方程为 ˆ ( ; ˆ ,ˆ ,..., ˆ ) x a1 a2 ak y = (1.6) 为便于确定回归函数(x)中的未知参数,我 们 现在来讨论变量 Y 与 X 之间存在线性相关关系的 情形,即回归函数(x)为一元线性函数情形
元线性回归 设回归方程为 a+bx 令离差平方和为 S=∑(0-a-bx) (2.2) 为使S取最小值,分别求S对a和b的偏导数,并令其偏 导数等于零,得 湘潭大学数学与计算科学学院一页一页
湘潭大学数学与计算科学学院 上一页 下一页 8 一、一 元线性回归 设回归方程为 yˆ = a + bx , (2.1) 令离差平方和为 = = − − n i i a b xi S y 1 2 ( ) . (2.2) 为使S取最小值,分别求S对a和b的偏导数, 并令其偏 导数等于零,得
∑(,-a-bx)=0 (2.3) ∑(,-a-bx,)x1=0. 解以上方程组得 a by b 其中 x=∑ ∑y,l2=∑(x,-x)2=ns, n n l=∑( ∑x” i=1 湘潭大学数学与计算科学学院一页一页
湘潭大学数学与计算科学学院 上一页 下一页 9 − − = − − = = = n i i i i n i i i y a b x x y a b x 1 1 ( ) 0. ( ) 0, (2.3) 解以上方程组得 = = − . ˆ , ˆ ˆ xx xy l l b a y bx (2.4) 其中 = = n i xi n x 1 1 , , 1 1 = = n i i y n y ( ) , 2 1 2 x n i l xx = xi − x = ns = ( )( ) . 1 1 l x x y y x y nxy n i i i n i xy = i− i − = − = =
将(2.4)代入(2.1)得所求的线性方程 =atex (2.5) 称此方程为Y关于X的线性回归方程,稀为回归系数, 称对应的直线为回归直线 显然,由(2.4)知回归直线一定过(x,y)点 例1为研究温度(X对某个化学过程的生产量(Y的 影响,收集到如下数据 5-4-3-2-1012345 1547108913141318 求I关于X的线性回归方程 湘潭大学数学与计算科学学院一页一页
湘潭大学数学与计算科学学院 上一页 下一页 10 将(2.4)代入(2.1)得所求的线性方程 . ˆ yˆ = aˆ + bx (2.5) 称此方程为 Y 关于 X 的线性回归方程,称bˆ 为回归系数, 称对应的直线为回归直线. 显然,由(2.4)知回归直线一定过(x y, )点. 例1 为研究温度(X)对某个化学过程的生产量(Y)的 影响,收集到如下数据: x -5 -4 -3 -2 -1 0 1 2 3 4 5 y 1 5 4 7 10 8 9 13 14 13 18 求Y关于X的线性回归方程
