机器学习与智能金融第二讲经典而永恒线性方法
机器学习与智能金融 第二讲 经典而永恒 线性方法
本讲内容回归类分析方法及其运用场景概述回归模型的选择、正则化与降维三多元定性响应变量的回归模型四回归类分析方法在金融领域的运用
一 回归类分析方法及其运用场景概述 本讲内容 二 回归模型的选择、正则化与降维 三 多元定性响应变量的回归模型 四 回归类分析方法在金融领域的运用
01回归类分析方法及其运用场景概述
01 回归类分析方法及其运用场景概述
回归分析的定义回归分析（RegressionAnalysis）：确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。回归模型的一般形式：(1)yi = f(xi,Eiβ)脚标iEN=[1.2.…n]表示第i个个体或观测响应变量y.特征变量x=(1,xi.2,.,xi.K）·参数向量β=β,β2,""βk)·误差项e;
回归分析（Regression Analysis）：确定两种或两种以上变量间相互依赖的定 量关系的一种统计分析方法。 回归模型的一般形式： 回归分析的定义 y𝑖 = 𝑓 𝑥𝑖 , 𝜖𝑖 ; 𝛽 (1) • 脚标𝑖∈𝑁={1,2,.,𝑛}表示第i个个体或观测 • 响应变量y𝑖 • 特征变量𝑥𝑖 ′=(1,𝑥𝑖,2,.,𝑥𝑖,𝐾) • 参数向量𝛽=(𝛽1,𝛽2,.,𝛽𝐾) • 误差项𝜖𝑖
回归分析的分类回归模型依赖于函数的形式f）和参数B的大小类别分类标准特征变量的个数一元回归模型、多元回归模型特征变量与响应变量的关系线性回归模型、非线性回归模型回归方程的个数单方程回归模型、联立方程回归模型横截面模型、时间序列模型、面板模型数据类型的特点
回归模型依赖于函数的形式𝑓(∙)和参数𝛽的大小 回归分析的分类 分类标准 类别 特征变量的个数 一元回归模型、多元回归模型 特征变量与响应变量的关系 线性回归模型、非线性回归模型 回归方程的个数 单方程回归模型、联立方程回归模型 数据类型的特点 横截面模型、时间序列模型、面板模型
多元线性回归模型回顾多元线性回归模型（MultipleLinearRegressionModel）(2)Yi = βiXi1 + β2Xi2 + .. + βpXip +Ei,(i = 1, ..,n)β=（β1.β2，β）为待估计的未知参数，回归系数如果方程(2)中有常数项（即截距项），则通常令第1个变量恒等于1，即x,1=1，Vi该回归模型也可表示为矩阵形式（更常用）(3)Y = Xβ +E其中Y=(y,Y2,"",yn)，X=(x,x2,",xn)，E=(E,E2,"",En)
多元线性回归模型（Multiple Linear Regression Model） 多元线性回归模型回顾 𝑦𝑖 = 𝛽1𝑥𝑖1 + 𝛽2𝑥𝑖2 + ⋯ + 𝛽𝑝𝑥𝑖𝑝 + 𝜖𝑖 , (𝑖 = 1, . , 𝑛) (2) 𝛽=(𝛽1,𝛽2,.,𝛽𝑝)′为待估计的未知参数，回归系数 如果方程(2)中有常数项(即截距项)，则通常令第 1 个变量恒等于 1，即𝑥𝑖1=1, ∀𝑖 该回归模型也可表示为矩阵形式（更常用） 其中𝑌=(𝑦1,𝑦2,.,𝑦𝑛)′，X=(𝑥1 ′,𝑥2 ′,.,𝑥𝑛 ′)′, 𝜖=(𝜖1,𝜖2,.,𝜖𝑛)′ Y = X𝛽 + 𝜖 (3)
多元线性回归模型回顾最小二乘法（OLS）估计多元线性回归的参数向量βOLS原理：找到使得模型残差平方和最小的参数向量βNβoLs = arg min(yi - x'β)2(4)βi=1估计量的性质小样本：在经典线性回归假设下，βoLs具有无偏性和有效性·大样本：在大数定律和中心极限定理保证下，βoLs还具有一致性和渐进正态性拟合优度·R2或者调整R2·为比较所含解释变量个数不同的多元回归模型的拟合优度，还可使用赤池信息准则（AIC）、贝叶斯信息准则（BIC）和施瓦茨准则（SC）
最小二乘法（OLS）估计多元线性回归的参数向量𝛽 多元线性回归模型回顾 OLS原理：找到使得模型残差平方和最小的参数向量𝛽 估计量的性质 拟合优度 𝜷 𝑂𝐿𝑆 = 𝑎𝑟𝑔 𝑚𝑖𝑛 𝜷 𝑖=1 𝑁 𝑦𝑖 − 𝒙𝑖 ′𝜷 2 (4) • 小样本：在经典线性回归假设下， 𝜷 𝑂𝐿𝑆具有无偏性和有效性 • 大样本：在大数定律和中心极限定理保证下， 𝜷 𝑂𝐿𝑆还具有一致性和渐进正态性 • 𝑅2 或者调整𝑅2 • 为比较所含解释变量个数不同的多元回归模型的拟合优度，还可使用赤池信息准则（AIC）、贝 叶斯信息准则（BIC）和施瓦茨准则（SC）
多元线性回归模型回顾最小二乘法（OLS）估计多元线性回归的参数向量β一元线性回归(x2,y2)残差：ei=yi-a-βxa+Bx残差平方和：Zn=ie?=n=1(yi-a-βxi)2(,J)β，使得残差平方和最小化最小二乘法就是选择α，>(yi-a-βx)3mina,p=1i=1
多元线性回归模型回顾 最小二乘法（OLS）估计多元线性回归的参数向量𝛽 一元线性回归 残差：e𝑖 ≡ 𝑦𝑖 − 𝛼ො − 𝛽𝑥𝑖 残差平方和：σi=1 𝑛 𝑒𝑖 2 = σ𝑖=1 𝑛 (𝑦𝑖−𝛼ො − 𝛽𝑥𝑖) 2 最小二乘法就是选择𝛼ො， 𝛽，使得残差平方和最小化 min 𝛼ෝ,𝛽 i=1 𝑛 𝑒𝑖 2 = 𝑖=1 𝑛 (𝑦𝑖−𝛼ො − 𝛽𝑥𝑖) 2
多元线性回归模型回顾最小二乘法（OLS）估计多元线性回归的参数向量β二元线性回归mine? = e'e = (y - xp)'(y - xp) = y'y - 2y'xβ + β'x'xβB41=1最小化问题的一阶条件：a(y'y - 2y'xβ + β'x'x)2 = -2x'y + 2X'xβ = 0(X'x)β = X'yaβ如果（XX)可逆（数据矩阵x满列秩，rank(X)=p），则：β三（X'X)-1X")
多元线性回归模型回顾 最小二乘法（OLS）估计多元线性回归的参数向量𝛽 二元线性回归 最小化问题的一阶条件： 如果(𝑋′ 𝑋)可逆（数据矩阵X满列秩,rank(X)=p），则：𝜷 ≡ 𝑿 ′𝑿 −𝟏𝑿 ′𝒚 min 𝛽෩ 𝑖=1 𝑛 𝑒𝑖 2 = 𝑒 ′𝑒 = (𝑦 − 𝑋𝛽෨)′(𝑦 − 𝑋𝛽෨) = 𝑦 ′𝑦 − 2𝑦 ′𝑋𝛽෨ + 𝛽෨′𝑋 ′𝑋𝛽෨ 𝜕(𝑦 ′𝑦 − 2𝑦 ′𝑋𝛽෨ + 𝛽෨′𝑋 ′𝑋𝛽෨) 𝜕𝛽෨ = −2𝑋 ′𝑦 + 2𝑋 ′𝑋𝛽෨ = 0 𝑋 ′𝑋 𝛽 = 𝑋 ′𝑦
多元线性回归模型回顾最小二乘法（OLS）估计多元线性回归的参数向量β如果数据矩阵x不满列秩，则存在严格多重共线性，rank(x)≤nn。须进行“正则化”处理，即在损失函数中加入“惩罚项”，进行“惩罚回归
多元线性回归模型回顾 最小二乘法（OLS）估计多元线性回归的参数向量𝛽 如果数据矩阵X不满列秩，则存在严格多重共线性 ，𝑟𝑎𝑛𝑘(𝑋)≤𝑛𝑛。须进行“正则化”处理， 即在损失函数中加入“惩罚项”， 进行“惩罚回归