当前位置:高等教育资讯网  >  中国高校课件下载中心  >  大学文库  >  浏览文档

广东工业大学:《机器学习》课程教学资源(课件讲义)第5讲 分类问题(4.3 ?持向量机 SVM)

资源类别:文库,文档格式:PDF,文档页数:67,文件大小:3.66MB,团购合买
点击下载完整版文档(PDF)

分类问题2 1

分类问题2 1

Outline ·4.3补充:优化算法NNDL《神经网络与深度学习 》附录p418-425 ·4.3支持向量机 哈尔滨工业大学计算机学院刘远超 2

Outline • 4.3 补充:优化算法NNDL《神经⽹络与深度学习 》附录p418-425 • 4.3 ⽀持向量机 哈尔滨工业大学计算机学院 刘远超 2

数学优化的类型 ·离散优化(Discrete Optimization) ·组合优化(Combinatorial Optimization) ·整数规划(Integer Programming) ·连续优化(Continuous Optimization) ·无约束优化(Unconstrained Optimization) ·约束优化(Constrained Optimization) ·线性规划(Linear Programming) ·非线性规划(Nonlinear Programming) ·凸优化(Convex Optimization) 哈尔滨工业大学计算机学院刘远超 3

数学优化的类型 • 离散优化(Discrete Optimization) • 组合优化(Combinatorial Optimization) • 整数规划(Integer Programming) • 连续优化 (Continuous Optimization) • ⽆约束优化(Unconstrained Optimization) • 约束优化(Constrained Optimization) • 线性规划(Linear Programming) • ⾮线性规划(Nonlinear Programming) • 凸优化(Convex Optimization) 哈尔滨工业大学计算机学院 刘远超 3

凸函数 定义1.4.7设S为"中的非空凸集,f是定义在S上的实函数.如果对任意的x”, x2∈S及每个数1∈(0,1),都有 f(x+(1-A)x2)≤f(x)+(1-A)f(x2), 则称f为S上的凸函数 f(x) (x) x(2)x ol xin r2) (a) (b) 哈尔滨工业大学计算机学院刘远超 4

凸函数 哈尔滨工业大学计算机学院 刘远超 4

清蒂大学 Tsinghua University 凸集 一个点集(或区域),如果连接其中任意两点xx2 的线段都全部包含在该集合内,就称该点集为凸集, 否则为非凸集。 X2 凸集 非凸集 定理1.4.10设S是歌"中一个非空凸集,f是定义在S上的凸函数,a是一个实数, 则水平集S。={xx∈S,f(x)≤a}是凸集

的线段都全部包含在该集合内,就称该点集为凸集, 否则为⾮凸集。 ⼀个点集(或区域),如果连接其中任意两点 1 x 2 x 凸集

门第大兰 Tsinghua University 凸性条件 1.根据一阶导数(函数的梯度)来判断函数的凸性 设f(x)为定义在凸集R上,且具有连续的一阶导数 的函数,则(x)在R上为凸函数的充要条件是对凸 集R内任意不同两点x,x2,不等式 f(x)f(x)+(xx)'vf(x) 恒成立

1.根据⼀阶导数(函数的梯度)来判断函数的凸性 设f(x)为定义在凸集R上,且具有连续的⼀阶导数 的函数,则f(x)在R上为凸函数的充要条件是对凸 集R内任意不同两点 x1 x2,不等式 ( 2 1 21 1 ) ( ) ( ) ( ) T fx fx x x fx ³ + - Ñ 恒成⽴。 凸性条件

清蒋大兰 Tsinghua University 凸性条件 2.根据二阶导数(Hesse矩阵)来判断函数的凸性 设fx)为定义在凸集R上且具有连续二阶导数的 函数,则f(x)在R上为凸函数的充要条件: Hesse?矩阵在R上处处半正定 f在x处的Hesse矩阵为nXn矩阵V2f(x),第i行第j列元素为 [fx1,=铝 2f2,1≤ij≤m

2.根据⼆阶导数( Hesse矩阵)来判断函数的凸性 设f(x)为定义在凸集R上且具有连续⼆阶导数的 函数,则f(x)在R上为凸函数的充要条件: Hesse矩阵在R上处处半正定 凸性条件

清蒂大当 Tsinghua University 凸优化 对于约束优化问题 minf(x) s.t. 8,(x)≤0j=1,2,,m 若f(x)g,(x)都为凸函数,则此问题为凸规划。 凸优化问题是一种特殊的约束优化问题,需满足目标函 数为凸函数,并且等式约束函数为线性函数,不等式 约束函数为凸函数(小于等于0,可行域为凸集)

对于约束优化问题 min f x( ) s t. . ( ) 0 j g x £ j m =1, 2,..., 若 f x( ) g x j ( )都为凸函数,则此问题为凸规划。 凸优化 凸优化问题是一种特殊的约束优化问题,需满足目标函 数为凸函数,并且等 式约束函数为线性函数,不等式 约束函数为凸函数(小于等于0,可行域为凸集)

清蒋大兰 Tsinghua University 凸优化的性质 1若给定-点,则集合R={f)}为凸集。 2.可行域R={850l2m}为凸集 3凸规划的任何局部最优解就是全局最优解

1.若给定⼀点 , 则集合 0 x 为凸集。 2.可⾏域 为凸集 3.凸规划的任何局部最优解就是全局最优解 凸优化的性质

消荐大多 Tsinghua University 凸优化问题 ·凸优化问题:指约束最优化问题 min :f(w网 s.t. g,(w≤0,i=1,2,…,k h(w)=0,i=1,2,…,1 ·其中,目标函数f(w)和约束函数g(w都是Rn上连续可微的凸函数, 约束函数h(w)是Rn上的仿射函数 ·当目标函数为二次函数,g函数为仿射函数时,为凸二次规划问 题

• 凸优化问题: 指约束最优化问题 • 其中,⽬标函数f(w) 和约束函数gi (w)都是Rn上连续可微的凸函数, 约束函数hj (w)是Rn上的仿射函数 • 当⽬标函数为⼆次函数,g函数为仿射函数时,为凸⼆次规划问 题。 凸优化问题

点击下载完整版文档(PDF)VIP每日下载上限内不扣除下载券和下载次数;
按次数下载不扣除下载券;
注册用户24小时内重复下载只扣除一次;
顺序:VIP每日次数-->可用次数-->下载券;
共67页,可试读20页,点击继续阅读 ↓↓
相关文档

关于我们|帮助中心|下载说明|相关软件|意见反馈|联系我们

Copyright © 2008-现在 cucdc.com 高等教育资讯网 版权所有