《自动控制原理》课程教学资源：第九章 最优控制

自动控制原理电子教案 第9章最优控制 91最优控制的概念 设系统的状态方程为 f(x, u,t) (9.1) 性能指标的数学表达式一般可以表示为 J=0[x(,), 1+ Lx(), u(o), t]dt (9.2) 所谓最优控制,就是要确定在[0,1中的最优控制,将系统(9.1)的状 态从x(0)转移到xr),或者x(/)的一个集合,并使性能指标(⑨9.2)最优 9.2变分法与泛函的极值条件 1.泛函的概念 如果对于自变量t,存在一类函数{x(t)},对于每个函数x(t),有一个J值 与之对应,则变量J称为依赖于函数x()的泛函数,简称为泛函,记作J[x(t)]。 如果泛函x满足下列关系: Jax]=a/x] J[Ex+y]=J[x]+Jy] 式中,a是实数:x,y是函数空间中的函数,则泛函J是线性泛函。 2.泛函的变分 泛函Jx(m)的变量x()的变分ax,定义为=x()-x’(),其中,x'(n)为 标称函数(即最优控制中的最优轨线),x(1)为x(m)邻域内与x()属于同 函数类的某一函数 如果泛函Jx(1)的增量 Ax(o), ax]=J[x(0)+ax]-J[x(o) (9.4) 可以表示为如下形式 △x()a]=Lx(,+x(,l (9.5) 其中,L[x()1是&的线性泛函,且当→0时,x)的→0,则线性泛 函x(,]称为泛函Jx(1)的变分(一阶变分),记作 由变分的定义可以看出,泛函的变分是一种线性映射,所以,它的运算规 则类似于函数的线性运算。设F1和F2是x,x和t的函数,则有如下的变分规 则 (1)6(F1+F2)=F1+F2 (2)(F1F2)=FF2+F2F1 (3)8F(x,i, tdt=SF(x,i,()dt d 3.泛函的极值 若泛函J[x()在x=x*()附近的任一曲线上的值不小于Jx*(),即 MJ=Jx()-Jx*()≥0,则泛函Jx(在曲线x=x*(1)上达到极小值。 浙江工业大学自动化研究所

自 动 控 制 原 理电 子 教 案 第 9 章 最优控制 9.1 最优控制的概念 设系统的状态方程为 x& = f (x, u,t) (9.1) 性能指标的数学表达式一般可以表示为 ∫ = + f t t f f J x t t L x t u t t dt 0 θ[ ( ), ] [ ( ), ( ), ] (9.2) 所谓最优控制，就是要确定在 中的最优控制 ，将系统(9.1)的状 态从 转移到 ，或者 的一个集合，并使性能指标(9.2)最优。 [ , ] 0 f t t u ( ) 0 x t ( ) f x t ( ) f x t 9.2 变分法与泛函的极值条件 1.泛函的概念 如果对于自变量t ，存在一类函数 ，对于每个函数 ，有一个 值 与之对应，则变量 称为依赖于函数 的泛函数，简称为泛函，记作 。 {x(t)} x(t) J J x(t) J[x(t)] 如果泛函 J[x]满足下列关系： [ ] [ ] [ ] [ ] [ ] J x y J x J y J ax aJ x + = + = (9.3) 式中， a 是实数； x, y 是函数空间中的函数，则泛函 J 是线性泛函。 2.泛函的变分 泛函 J[x(t)]的变量 x(t) 的变分δx ，定义为 ，其中， 为 一标称函数（即最优控制中的最优轨线）， 为 邻域内与 属于同 一函数类的某一函数。 ( ) ( ) * δx = x t − x t ( ) * x t x(t) ( ) * x t ( ) * x t 如果泛函 J[x(t)]的增量 ∆J[x(t),δx] = J[x(t) +δx]− J[x(t)] (9.4) 可以表示为如下形式 ∆J[x(t),δx] = L[x(t),δx]+ β[x(t),δx] δx (9.5) 其中，L[x(t),δx]是δx 的线性泛函，且当 δx → 0 时，β[x(t),δx] → 0 ，则线性泛 函 L[x(t),δx]称为泛函 J[x(t)]的变分（一阶变分），记作δJ 。 由变分的定义可以看出，泛函的变分是一种线性映射，所以，它的运算规 则类似于函数的线性运算。设 F1 和 F2 是 x ，x& 和t 的函数，则有如下的变分规 则： （1） 1 2 1 2 δ (F + F ) = δF +δF （2） 1 2 1 2 2 1 δ (F F ) = F δF + F δF （3） F x x t dt F x x t dt ∫ ∫ δ ( , &, ) = δ ( , &, ) （4） x dt d δx& = δ 3.泛函的极值 若泛函 在 附近的任一曲线上的值不小于 ，即 ，则泛函 在曲线 J[x(t)] x = x *(t) J[x*(t)] ∆J = J[x(t)]− J[x *(t)] ≥ 0 J[x(t)] x = x *(t) 上达到极小值。 浙 江 工 业 大 学 自 动 化 研 究 所 1

自动控制原理电子教案 泛函J[x()在曲线x=x*(t)上达到极小值的必要条件为(证明略) d(x*,△)=J(x*+Nx (9.6) 在等式约束下的泛函极值问题,称为条件泛函极值问题。对于条件泛函极 值问题,可以应用拉格朗日乘子法将其转化为无约束条件极值问题 9.3变分法求解无约束最优控制问题 设系统的状态方程为 x()=fx(n),u(t), (9.7) 性能指标为 J=x(r)1+「4xO.0 (9.8) 最优控制问题就是以状态方程(9.7)为约束,确定使泛函(9.8)达到极 值所要满足的必要条件。在上面的最优控制问题中,因为对控制变量u(t)没有 约束,所以通常称为无约束最优控制问题。 无约束最优控制问题是一个求有等式约束的泛函极值问题,可以采用拉 格朗日乘子法把有约束条件问题转化为无约束条件问题 构造增广泛函为 Ja=0x(t (9.9) 构造哈密顿函数为 (9.10) 式中,λ∈R为拉格朗日乘子向量。则增广泛函为 J=x()17+{Hx,1.1-2xdm (9.11) 设初始时刻t及其状态给定为x(t0)=xo。根据终端状态边界条件,可按以下几 种情况讨论 1.t给定,终端自由,即x(r)任意 增广泛函J为 J=x(7)+(x,2.0)-x (9.12) 取J的一阶变分并令其为零,得 出+(y面+(y+(,)一￥-圆M=0 (9.13) 由于 A adt=4 (9.14) 将式(9.14)代入式(9.13),并注意到(t0)=0,可得 ++2)+(B2-8yMm=0(.15 由于在上式中,tr,b,b和都是任意的,并且相互独立,所以,增广性 能指标泛函J的一阶变分为零,即最优控制问题(9.7),(9.8)取极值的 必要条件为 正则方程 浙江工业大学自动化研究所2

自 动 控 制 原 理电 子 教 案 泛函 J[x(t)]在曲线 x = x *(t) 上达到极小值的必要条件为（证明略） ( *,∆ ) = ( *+ε∆ ) ε =0 = 0 ε δ J x x d d J x x (9.6) 在等式约束下的泛函极值问题，称为条件泛函极值问题。对于条件泛函极 值问题，可以应用拉格朗日乘子法将其转化为无约束条件极值问题。 9.3 变分法求解无约束最优控制问题 设系统的状态方程为 x&(t) = f [x(t), u(t),t] 0 0 x(t ) = x (9.7) 性能指标为 ∫ = + f t t f f J x t t L x t u t t dt 0 θ[ ( ), ] [ ( ), ( ), ] (9.8) 最优控制问题就是以状态方程（9.7）为约束，确定使泛函（9.8）达到极 值所要满足的必要条件。在上面的最优控制问题中，因为对控制变量 没有 约束，所以通常称为无约束最优控制问题。 u(t) 无约束最优控制问题是一个求有等式约束的泛函极值问题，可以采用拉 格朗日乘子法把有约束条件问题转化为无约束条件问题。 构造增广泛函为 ∫ = + + − f t t T a f f J x t t L x t u t t f x t u t t x t dt 0 θ[ ( ), ] { [ ( ), ( ), ] λ [ ( ( ), ( ), ) &( )]} (9.9) 构造哈密顿函数为 H(x, u, ,t) L(x, u,t) f (x, u,t) T λ = + λ (9.10) 式中， 为拉格朗日乘子向量。则增广泛函为 n λ ∈ R = + ∫ − f t t T J a x t f t f H x u t x dt 0 θ[ ( ), ] { [ , ,λ, ] λ &} (9.11) 设初始时刻t0 及其状态给定为 0 0 x(t ) = x 。根据终端状态边界条件，可按以下几 种情况讨论 1. t f 给定，终端自由，即 x(t f ) 任意 增广泛函 J a 为 ∫ = + − f t t T J a x t f H x u t x dt 0 θ[ ( )] [ ( , ,λ, ) λ &] (9.12) 取 的一阶变分并令其为零，得 a J ( ) [( ) ( ) ( ) ] 0 0 − − = ∂ ∂ + ∂ ∂ + ∂ ∂ + ∂ ∂ = = ∫ f f t t T T T T T t t T a x x dt H u u H x x H x x J δλ & δλ λ δ& λ δ δ δ θ δ (9.13) 由于 ∫ ∫ = − f f f t t t T t T t t T xdt x xdt 0 0 0 λ δ λ δ λ δ & & (9.14) 将式（9.14）代入式（9.13），并注意到δx(t0 ) = 0 ，可得 ( ) [( ) ( ) ( ) ] 0 0 − = ∂ ∂ + ∂ ∂ + + ∂ ∂ − + ∂ ∂ = = ∫ f f t t T T T t t T a x dt H u u H x x H x x J δλ λ λ δ λ δ δ θ δ & & (9.15) 由于在上式中，t f ，δx ，δu 和δλ 都是任意的，并且相互独立，所以，增广性 能指标泛函 的一阶变分为零，即最优控制问题（9.7），（9.8）取极值的 必要条件为 a J 正则方程 浙 江 工 业 大 学 自 动 化 研 究 所 2

自动控制原理电子教案 状态方程 aH(x,u,,1) (9.16) 伴随方程 aH(,u, 1, 1) (9.17) 控制方程 aH(x, u, 1, 0) (9.18) 横截条件 (tr)= ae[x(t ) (9.19) 联立求解上述正则方程和控制方程,就可求得性能指标达到极值时的最优 控制u*()、最优状态轨线x*(t)及最优协态轨线λ*(1)。 例9.1已知系统的状态方程为 x(1)=l() 初始条件为 x(0)=x0 求最优控制u*(t),使性能指标 为最小 解本题为tr给定、终端自由的最优控制问题。由于控制变量不受约束 所以,可以用变分法求解。构造哈密顿函数为 H(x,u, A 由伴随方程(9.17)得 ah a u*+Au)=0 因此,A=常数。由横截条件(9.19)得 deLi(t) cx(t)]=cx(tr) ax(tr) ax(t) 由控制方程(9.18)得 将u*代入状态方程,得 cx(t,) 上面这个微分方程的解为 当t=t;时,有 x()=-cx((-10)+x(0) 所以 x(0) 最优控制为 (t cx(t) 1+c(r-t0) 浙江工业大学自动化研究所3

自 动 控 制 原 理电 子 教 案 状态方程 λ λ ∂ ∂ = H(x, u, ,t) x& (9.16) 伴随方程 x H x u t ∂ ∂ = − ( , , λ, ) λ & (9.17) 控制方程 0 ( , , , ) = ∂ ∂ u H x u λ t (9.18) 横截条件 ( ) [ ( )] ( ) f f f x t x t t ∂ ∂ = θ λ (9.19) 联立求解上述正则方程和控制方程，就可求得性能指标达到极值时的最优 控制u *(t) 、最优状态轨线 x*(t) 及最优协态轨线λ *(t) 。 例 9.1 已知系统的状态方程为 x&(t) = u(t) 初始条件为 0 0 x(t ) = x 求最优控制u *(t) ，使性能指标 ∫ = + f t t f J cx t u dt 0 2 2 2 1 ( ) 2 1 ， c > 0 为最小。 解 本题为 给定、终端自由的最优控制问题。由于控制变量不受约束， 所以，可以用变分法求解。构造哈密顿函数为 f t H x u λ t = u + λu 2 2 1 ( , , , ) 由伴随方程(9.17)得 ) 0 2 1 ( 2 + = ∂ ∂ = − ∂ ∂ = − u u x x H λ λ & 因此，λ = 常数。由横截条件(9.19)得 ， ( )] ( ) 2 1 [ ( ) ( ) [ ( )] ( ) 2 f f f f f f cx t cx t x t x t x t t = ∂ ∂ = ∂ ∂ = θ λ 由控制方程(9.18)得 = + = 0 ∂ ∂ u λ u H 即 * ( ) f u = −λ = −cx t 将u * 代入状态方程，得 ( ) f x& = u = −cx t 上面这个微分方程的解为 ( ) ( )( ) ( ) 0 0 x t cx t t t x t = − f − + 当t = t f 时，有 ( ) ( )( ) ( ) 0 0 x t cx t t t x t f = − f f − + 所以 1 ( ) ( ) ( ) 0 0 c t t x t x t f f + − = 最优控制为 1 ( ) ( ) * ( ) 0 0 c t t cx t u cx t f f + − = − = − 浙 江 工 业 大 学 自 动 化 研 究 所 3

自动控制原理电子教案 由本例的性能指标形式可知,性能指标只存在极小值,所以,最优控制 u*()将使性能指标为最小。因此最优性能指标为 2(1)+「n2 2 to) 2[+c(t -to)I o) 21+ 2.t给定,终端约束 设终端约束为 Mx(r),r=Mx(t月=0 (9.20) 式中,M∈R,即终端状态x(r)可沿规定的边界曲线移动。构造增广泛函J Ja=01x( )+r MIxo )1+(L(s, ) +2I(x, u, 0-aj dr =Ox(r)+yMx()+[H(x2,D-it(9.21) 式中,v∈R。对增广泛函J取一阶变分并令其为零,经过与上面类似的推导, 得 a0 aM d,= (9.22) aH aH ]dt=0 由于上式中a(),&,b和况都是任意的,并且相互独立,所以增广性能 指标泛函J的一阶变分为零,即最优控制问题(9.7),(9.8)取极值的必 要条件为 正则方程 状态方程 CH(, u, 4, 1) (9.23) 伴随方程 aH(x, u, 4, 1) (9 控制方程 aH(x,u, a, 1) 0 (9.25) 边界条件 x(t0)=x0 MIx(t]=0 (9.26) 横截条件 06(x)OM(x) ()=a (9.27) 例9.2已知系统的状态方程为 x1(t)=x2(t x2(D)=-x2(1)+l() 初始条件为 x1(0)=0 终端约束条件为 x1(2)+5x2(2)=15 求最优控制u*(t),使性能指标 浙江工业大学自动化研究所4

自 动 控 制 原 理电 子 教 案 由本例的性能指标形式可知，性能指标只存在极小值，所以，最优控制 u *(t) 将使性能指标为最小。因此最优性能指标为 ∫ = + f t t f J cx t u dt 0 2 2 2 1 ( ) 2 1 1 ( ) ( ) 2 1 ( ) [1 ( )] ( ) 2 1 [1 ( )] ( ) 2 1 0 0 2 0 2 0 0 2 2 2 0 0 2 c t t cx t t t c t t c x t c t t cx t f f f f + − = − + − + + − = 2. t f 给定，终端约束 设终端约束为 M[x(t f ),t f ] = M[x(t f )] = 0 (9.20) 式中， q M ∈ R ，即终端状态 可沿规定的边界曲线移动。构造增广泛函 为 ( ) f x t a J ∫ = + + + − f t t T f T a f J x t v M x t L x u t f x u t x dt 0 θ[ ( )] [ ( )] { ( , , ) λ [ ( , , ) &]} ∫ = + + − f t t T f T f x t v M x t H x u t x dt 0 θ[ ( )] [ ( )] [ ( , , λ, ) λ &] (9.21) 式中， 。对增广泛函 取一阶变分并令其为零，经过与上面类似的推导， 得 q v ∈ R a J [( ) ( ) ( ) ] 0 ( ) 0 ∫ − = ∂ ∂ + ∂ ∂ + + ∂ ∂ + ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ − ∂ ∂ + ∂ ∂ = = f f t t T T T t t T T a x dt H u u H x x H v x x M x J δλ λ λ δ δ λ δ θ δ & & (9.22) 由于上式中δx(t f ) ，δx ，δu 和δλ 都是任意的，并且相互独立，所以增广性能 指标泛函 的一阶变分为零，即最优控制问题（9.7），（9.8）取极值的必 要条件为 a J 正则方程 状态方程 λ λ ∂ ∂ = H(x, u, ,t) x& (9.23) 伴随方程 x H x u t ∂ ∂ = − ( , , λ, ) λ & (9.24) 控制方程 0 ( , , , ) = ∂ ∂ u H x u λ t (9.25) 边界条件 x(t0 ) = x0 M[x(t f )] = 0 (9.26) 横截条件 f t t T f v x M x x x t = ∂ ∂ + ∂ ∂ = ) ] ( ) ( ( ) ( ) [ θ λ (9.27) 例 9.2 已知系统的状态方程为 ( ) ( ) 1 2 x& t = x t ( ) ( ) ( ) 2 2 x& t = −x t + u t 初始条件为 x1 (0) = 0 x2 (0) = 0 终端约束条件为 x1 (2) + 5x2 (2) = 15 求最优控制u *(t) ，使性能指标 浙 江 工 业 大 学 自 动 化 研 究 所 4

自动控制原理电子教 J=1x(2)-52+x2(2)-212+[n20t 为最小 解本题为tr给定、终端受约束的最优控制问题。由于控制变量不受约束 所以可以用变分法求解。构造哈密顿函数为 2+(A1-12)x2+A2 =x1(2)-32+x2(2)-212 1(2)+5x2(2)-15=0 =0,A1()=c1 ax n2(0) +A,=0 l(t)=-2()=-c2e′ 所以 x2(1)= ce -Cl x1(=4、I e'-cttc 由初始条件x1(0)=0,x2(O)=0,得 c1-0.5c2+c3=0 因为 x1(2)=-e3-c2-21+c4 由横截条件得 M A1(2)=x1(2)-5+v=c ax,(t)ax(tr) aM 2()=a0)+a0)m) 12(2)=x2(2)-2 将x1(2)和x2(2)代入上式,得 5 求解以c1,c2,C3,C4和v作为未知数的联立方程组 -c1-0.5c2+c3=0 CA=15 3c1-0.5e2c 浙江工业大学自动化研究所5

自 动 控 制 原 理电 子 教 案 ∫ = − + − + 2 0 2 2 2 2 1 ( ) 2 1 [ (2) 2] 2 1 [ (2) 5] 2 1 J x x u t dt 为最小。 解 本题为 给定、终端受约束的最优控制问题。由于控制变量不受约束， 所以可以用变分法求解。构造哈密顿函数为 f t H u x u 1 2 2 2 2 ( ) 2 1 = + λ − λ + λ 2 2 2 1 [ (2) 2] 2 1 [ (2) 5] 2 1 θ = x − + x − M = x1 (2) + 5x2 (2) −15 = 0 由于 ∂λ ∂ = H x& ， ( ) ( ) 1 2 x& t = x t ， ( ) ( ) ( ) 2 2 x& t = −x t + u t 0 1 1 = ∂ ∂ = − x H λ & ， 1 1 λ (t) = c 2 1 2 λ 2 = λ − λ ∂ ∂ = − x & H ， 2 2 1 (t) c e c t λ = + = + 2 = 0 ∂ ∂ u λ u H ， 2 2 1 u(t) (t) c e c t = −λ = − − 所以 2 3 2 1 2 1 x (t) c e c e c t t = − − − 1 3 2 1 4 2 1 x (t) c e c e c t c t t = − − − + − 由初始条件 x1 (0) = 0， x2 (0) = 0 ，得 −0.5c2 − c3 + c4 = 0 −c1 − 0.5c2 + c3 = 0 因为 1 4 2 2 2 1 3 2 2 1 x (2) = −c e − c e − c + c − 1 2 2 2 2 3 2 1 x (2) = c e − c e − c − 由横截条件得 ( ) ( ) ( ) ( ) 1 1 1 f f f f v t x t M x t t ∂ ∂ + ∂ ∂ = θ λ 1 1 5 1 λ (2) = x (2) − + v = c ( ) ( ) ( ) ( ) 2 2 2 f f f f v t x t M x t t ∂ ∂ + ∂ ∂ = θ λ 2 2 2 2 5 1 2 λ (2) = x (2) − + v = c + c e 将 x1 (2) 和 x2 (2) 代入上式，得 3 0.5 3 4 5 2 2 2 − 1 − − + + = − c e c e c c v 2 1.5 3 5 2 2 2 2 − 1 − + + = − c e c e c v 求解以c1 , c2 , c3 , c4和v 作为未知数的联立方程组 −0.5c2 − c3 + c4 = 0 −c1 − 0.5c2 + c3 = 0 7 3 4 3 4 15 2 2 2 − 1 − + + = − c e c e c c 3 0.5 3 4 5 2 2 2 − 1 − − + + = − c e c e c c v 浙 江 工 业 大 学 自 动 化 研 究 所 5

自动控制原理电子教案 2c1-1.5ec2+ec3+5=2 可得c1=-0.73,c2=-0.13。则所求最优控制为 u*(1)=0.73+1.3e=0.73(1+0.18e) 3.tr自由,终端约束 设终端约束为式(9.20)。同样构造增广泛函Ja为 J=x()y+Mx()+[H(x,n,)-2+ (9.28) 将式(9.28)与式(9.21)比较可以看出,式(9.28)除了tr自由外,与式(9.21) 完全相同,因而所推导出的结果除了因r是任意的而增加一个终端边界条件 方程外,其余结果完全相同。最优控制问题(9.7),(9.8)取极值的必要条 件为 正则方程 状态方程 OH(,u, 4, 1) (9.29) 伴随方程 aH(, u, 1,1) (9.30) 控制方程 aH(,u,A,t) (9.31) 边界条件与横截条件x(0)=x Mlr(r),t,]=0 (9.32) A(r)=[+()v (9.33) [H(x, u, a, 1) (9 例9.3已知系统的状态方程为 x(1)=l(1) 初始条件为x(0)=x,终端时刻t自由,终端约束条件为x(tr)=co(常数), 求最优控制u*(1)和x*(),使性能指标 J=「(x2+i2)d 为最小。 解本题为自由、终端受约束的可动边界最优控制问题。由于控制变量 不受约束,所以可以用变分法求解。构造哈密顿函数为 H(x, u, 1, 1)=x+x+Au=x+u+au 伴随方程为 控制方程为 2u+A=0 由伴随方程和控制方程得 x=ut 代入状态方程得 解上面的二阶微分方程得 x=ce +c2 浙江工业大学自动化研究所6

自 动 控 制 原 理电 子 教 案 2 1.5 3 5 2 2 2 2 − 1 − + + = − c e c e c v 可得c1 = −0.73 ，c2 = −0.13 。则所求最优控制为 *( ) 0.73 1.3 0.73(1 0.18 ) t t u t = + e = + e 3. t f 自由，终端约束 设终端约束为式（9.20）。同样构造增广泛函 J a 为 (9.28) ∫ = + + − f t t T f f T a f f J x t t v M x t t H x u t x dt 0 θ[ ( ), ] [ ( ), ] [ ( , , λ, ) λ &] 将式（9.28）与式（9.21）比较可以看出，式（9.28）除了 自由外，与式（9.21） 完全相同，因而所推导出的结果除了因 是任意的而增加一个终端边界条件 方程外，其余结果完全相同。最优控制问题（9.7），（9.8）取极值的必要条 件为 f t f δt 正则方程 状态方程 λ λ ∂ ∂ = H(x, u, ,t) x& (9.29) 伴随方程 x H x u t ∂ ∂ = − ( , , λ, ) λ & (9.30) 控制方程 0 ( , , , ) = ∂ ∂ u H x u λ t (9.31) 边界条件与横截条件 x(t0 ) = x0 M[x(t f ),t f ] = 0 (9.32) f t t T f v x M x t = ∂ ∂ + ∂ ∂ ( ) = [ ( ) ] θ λ (9.33) [ ( , , , ) ] = 0 ∂ ∂ + ∂ ∂ + = f t t T t M v t H x u t θ λ (9.34) 例 9.3 已知系统的状态方程为 x&(t) = u(t) 初始条件为 ，终端时刻 自由，终端约束条件为 （常数）， 求最优控制 和 ，使性能指标 0 x(0) = x f t 0 x(t ) c f = u *(t) x*(t) ∫ = + f t J x x dt 0 2 2 ( & ) 为最小。 解 本题为 自由、终端受约束的可动边界最优控制问题。由于控制变量 不受约束，所以可以用变分法求解。构造哈密顿函数为 f t H x u λ t = x + x + λu = x + u + λu 2 2 2 2 ( , , , ) & 伴随方程为 λ = −2x & 控制方程为 2u + λ = 0 由伴随方程和控制方程得 x = u& 代入状态方程得 & x& = x 解上面的二阶微分方程得 t t x c e c e = 1 + 2 − 浙 江 工 业 大 学 自 动 化 研 究 所 6

自动控制原理电子教案 因此 u=xdt=-Ge"+c2e 积分得 代入边界条件与横截条件,得 0 解得C1=0,c2=Co,或者c2=0,c1=C0。于是,最优控制和最优状态轨 线为 l*(1) Xoe xo>c Xoe 表9.1不同终端状态边界条件下的边界条件与横截条件 终端时刻 终端状态 边界条件与横截条件 =x(t)-x=0 终端固定 x(0)=x 终端自由 tn) 给定终端部分固定、部x(0)=x0x()=x厂 分自由(x1()固 2(y)=-0 定、x2()自由) ax2() x(0)=x0 终端约束 Mx(r)=0 a0 aM a(t) 自由 终端固定 x(0)=x0 i(t-dc 终端自由 x(ty) () 浙江工业大学自动化研究所7

自 动 控 制 原 理电 子 教 案 因此 t t u xdt c e c e = = − 1 + 2 − ∫ t t x c e c e 1 2 = −2 = −2 − 2 − λ & 积分得 t t c e c e 1 2 = 2 − 2 − λ 代入边界条件与横截条件，得 1 2 0 c + c = c 0 c1c2 = 解得c1 = 0 ， 2 0 c = c ，或者c2 = 0 ， 1 0 c = c 。于是，最优控制和最优状态轨 线为 ⎩ ⎨ ⎧ − > < = − 0 0 0 0 0 0 , , *( ) x e x c x e x c x t t t 表 9.1 不同终端状态边界条件下的边界条件与横截条件 终端时刻 终端状态 边界条件与横截条件 终端固定 M = x(t f ) − x f = 0 0 0 x(t ) = x 终端自由 0 0 x(t ) = x ( ) ( ) f f x t t ∂ ∂ = θ λ 终端部分固定、部 分自由（ 固 定、 自由） ( ) 1 f x t ( ) 2 f x t 0 0 x(t ) = x f f x t x 1 1 ( ) = ( ) ( ) 2 2 f f x t t ∂ ∂ = θ λ f t 给定 终端约束 0 0 x(t ) = x M[x(t f )] = 0 f t T f v x M x (t ) [ ( ) ] ∂ ∂ + ∂ ∂ = θ λ 终端固定 0 0 x(t ) = x f f x(t ) = x f f t H t ∂ ∂ = − θ ( ) f t 自由 终端自由 0 0 x(t ) = x ( ) ( ) f f x t t ∂ ∂ = θ λ f f t H t ∂ ∂ = − θ ( ) 浙 江 工 业 大 学 自 动 化 研 究 所 7

自动控制原理电子教案 to )=xo MIr(In),l=0 终端约束()= a0 aM (r)= 9.4极小值原理 控制变量uO)受到限制时的最优控制问题,通常称为有约束最优控制问 题。对于有约束最优控制问题,不能应用变分法求解,而需要采用本节所介绍 的极小值原理求解。 9.41连续系统的极小值原理 设系统的状态方程为 x(1)=fx(),u(1), x(t0)=x0 (9.35) 式中,x∈Rn;u∈Ω∈RP;g为有界闭集。不等式约束为 (9.36) 其中,G为m维连续可微向量函数,m≤p。系统从初始状态x转移到终端状 态x(),要求终端状态x(y)满足等式约束 Mr(t),t/l=0 其中,M为q维连续可微向量函数,q≤n。性能指标为 J=Ol(g),91+L[x(o), u(o),r]dt (9.38) 最优控制问题就是寻找最优容许控制(1),使目标函数J最小。 为了将不等式约束问题转化为等式约束问题,引入两个新的向量: 1)引入一个新的p维控制变量o( r)=l() o(tl0)=0 (9.39) 这样,就可以容许u()不连续。因为当u(1)不连续时,o()也是连续的。而当u() 是分段连续函数时,o()也是分段光滑连续函数。 2)引入另一个新的m维控制变量() [=(t)=G[x(1),u(1),n (9.40) 由于上式左边恒为非负,所以满足G是非负的要求。 通过以上变换,将上述有不等式约束的最优控制问题,转化为了下列具有 等式约束的条件极值问题,通常称为波尔扎( bolza)问题: 系统的状态方程为 x()=fx(),o(), (9.41) (t)=G{x(1),o(1), (9.42) x(0)=x0,z(10)=0,o(to)=0 终端时刻tr未给定,终端状态约束为 Mx(t,),]=0 (9.43) 要求确定最优控制(t),使性能指标 J=O[r(),y1+ L[x(o),o( ) t]dr (9.44) 浙江工业大学自动化研究所8

自 动 控 制 原 理电 子 教 案 终端约束 0 0 x(t ) = x M[x(t f ),t f ] = 0 f t T f v x M x (t ) [ ( ) ] ∂ ∂ + ∂ ∂ = θ λ f t T f t M v t H(t ) [ ] ∂ ∂ + ∂ ∂ = − θ 9.4 极小值原理 控制变量 受到限制时的最优控制问题，通常称为有约束最优控制问 题。对于有约束最优控制问题，不能应用变分法求解，而需要采用本节所介绍 的极小值原理求解。 u(t) 9.4.1 连续系统的极小值原理 设系统的状态方程为 x&(t) = f [x(t), u(t),t] 0 0 x(t ) = x （9.35） 式中， x ∈ Rn ；u ∈Ω∈ R p ；Ω 为有界闭集。不等式约束为 G[x(t), u(t),t] ≥ 0 （9.36） 其中，G 为 m 维连续可微向量函数，m ≤ p 。系统从初始状态 转移到终端状 态 ，要求终端状态 满足等式约束 0 x ( ) f x t ( ) f x t M[x(t f ),t f ] = 0 （9.37） 其中， M 为 q 维连续可微向量函数， q ≤ n 。性能指标为 (9.38) ∫ = + f t t f f J x t t L x t u t t dt 0 θ[ ( ), ] [ ( ), ( ), ] 最优控制问题就是寻找最优容许控制u(t) ，使目标函数 J 最小。 为了将不等式约束问题转化为等式约束问题，引入两个新的向量： 1）引入一个新的 p 维控制变量ω(t) ω&(t) = u(t) ， ω(t0 ) = 0 （9.39） 这样，就可以容许u(t) 不连续。因为当u(t) 不连续时，ω(t) 也是连续的。而当 是分段连续函数时， u(t) ω(t) 也是分段光滑连续函数。 2）引入另一个新的 m 维控制变量 z(t) [ ( )] [ ( ), ( ), ] 2 z& t = G x t u t t ， z(t0 ) = 0 （9.40） 由于上式左边恒为非负，所以满足G 是非负的要求。 通过以上变换，将上述有不等式约束的最优控制问题，转化为了下列具有 等式约束的条件极值问题，通常称为波尔扎（Bolza）问题： 系统的状态方程为 x&(t) = f [x(t),ω&(t),t] （9.41） [ ( )] [ ( ), ( ), ] 2 z& t = G x t ω& t t （9.42） ， 0 0 x(t ) = x z(t0 ) = 0 ， ω(t0 ) = 0 终端时刻t f 未给定，终端状态约束为 M[x(t f ),t f ] = 0 （9.43） 要求确定最优控制ω&(t) ，使性能指标 (9.44) ∫ = + f t t f f J x t t L x t t t dt 0 θ[ ( ), ] [ ( ),ω&( ), ] 浙 江 工 业 大 学 自 动 化 研 究 所 8

自动控制原理电子教案 为极小 引入拉格朗日乘子向量及r,写出增广性能指标泛函为 J=Ox)1+yMx0,)1-121+(xD=刘+r(xD=m ox(r)y+pMx(r)t+[,x,1-x+rTG(x,a)-2]dh (9.45) 式中,哈密顿函数H(x,O,A,1)定义为 H(x,O,A,1)=L(x,oi,1)+xf(x,,1) (9.46) 为了简化问题,定义拉格朗日标量函数Φ为 d(x,x,O,,A,r,D)=H(x,,A,D)-x+I[G(x,@,1)-2 (9.47) 于是,J可以写成 J=x(r)y+yMx()+x,0,,,, (9.48) 对J取一阶变分,得 =++ *17 OM ax(t) (9.49) ()&x+()欲+()b+()]lt 式中,为最优终端时刻。对上式积分项中的后三项分别进行分部积分,并利 用关系式 ax(t )=ar(tf)+x(tr (9.50) 0M161f (9.51) +x+(ax)+a=6x()+(ao)6a+ +[c-d d a d a ax dt ax dt do dt az 根据泛函取极值的必要条件,应有a=0。由于式(9.51)中81r,bt(), r,i和&都是任意的,并且相互独立,所以增广性能指标泛函J取极值 的必要条件为 op d a (9.52) d a d a (9.53) dt do 分)F+OraM oo (9.54) (9.55) 0 (9.56) 由式(9.47)得 Tr 浙江工业大学自动化研究所9

自 动 控 制 原 理电 子 教 案 为极小。 引入拉格朗日乘子向量λ 及Γ ，写出增广性能指标泛函为 ∫ = + + + − + Γ − f t t T T f f T a f f J x t t v M x t t L x t f x t x G x t z dt 0 [ ( ), ] [ ( ), ] { [ , , ] [ ( , , ) ] [ ( , , ) ]} 2 θ ω& λ ω& & ω& & (9.45) ∫ = + + − + Γ − f t t T T f f T f f x t t v M x t t H x t x G x t z dt 0 [ ( ), ] [ ( ), ] { [ , , , ] [ ( , , ) ]} 2 θ ω& λ λ & ω& & 式中，哈密顿函数 H(x,ω&, λ,t) 定义为 H(x, , ,t) L(x, ,t) f (x, ,t) T ω& λ = ω& + λ ω& （9.46） 为了简化问题，定义拉格朗日标量函数Φ 为 ( , , , , , , ) ( , , , ) [ ( , , ) ] 2 x x z t H x t x G x t z T T Φ & ω& & λ Γ = ω& λ − λ & + Γ ω& − & （9.47） 于是， J a 可以写成 （9.48） ∫ = + + Φ Γ f t t f f T a f f J x t t v M x t t x x z t dt 0 θ[ ( ), ] [ ( ), ] ( , &,ω&, &, λ, , ) 对 J a 取一阶变分，得 ∫ ∂ ∂Φ + ∂ ∂Φ + ∂ ∂Φ + ∂ ∂Φ + ∂ ∂ + ∂ ∂ + ∂ ∂ + ∂ ∂ = Φ + = = f f f t t T T T T f t t T T f t t T a z dt z x x x x x t x M v x t t M v t J * * 0 * * [( ) ( ) ( ) ( ) ] [ ] [( ) ] ( ) & & & & & & δω δ ω δ δ δ θ δ θ δ （9.49） 式中， 为最优终端时刻。对上式积分项中的后三项分别进行分部积分，并利 用关系式 * f t δx(t f ) = δx(t * f ) + x&(t f )δ t f （9.50） 可得 ∫ ∂ ∂Φ − ∂ ∂Φ − ∂ ∂Φ − ∂ ∂Φ + ∂ ∂Φ + ∂ ∂Φ + ∂ ∂Φ + ∂ ∂ + ∂ ∂ + ∂ ∂ + ∂ ∂ + ∂ ∂Φ = Φ − = = = * 0 * * * [( ) δ ( ) ( ) δ ] [ ( ) ] δ ( ) [( ) δ ( ) δ ] [ ] δ * f f f f t t T T T t t T T f T t t T f t t T T a z dt dt z d dt d x dt x d x z z x t x v x M x t t M v x t J x & & & & & & & & δω ω ω ω θ θ δ （9.51） 根据泛函取极值的必要条件，应有δJ a = 0 。由于式（9.51）中δ t f ，δx(t * f ) ， δx ，δω 和δz 都是任意的，并且相互独立，所以增广性能指标泛函 取极值 的必要条件为 a J = 0 ∂ ∂Φ − ∂ ∂Φ dt x d x & （9.52） = 0 ∂ ∂Φ dt ω& d ， = 0 ∂ ∂Φ dt z d & （9.53） [ ( ) ] * = 0 ∂ ∂ + ∂ ∂ + ∂ ∂Φ Φ − = f t t T T t M v t x x θ & & （9.54） [ ( ) ] * = 0 ∂ ∂Φ + ∂ ∂ + ∂ ∂ = f t t T x v x M x & θ （9.55） ( ) * = 0 ∂ ∂Φ = f t t ω& ， ( ) * = 0 ∂ ∂Φ = f t t z& （9.56） 由式（9.47）得 Γ ∂ ∂ + ∂ ∂ = ∂ ∂Φ T x G x H x ( ) 浙 江 工 业 大 学 自 动 化 研 究 所 9

自动控制原理电子教案 代入式(9.52),得 d2 ah aG or+(o'l 若不等式约束函数G内不含x,即为 G[u(1),n≥0 (9.58) 则由于一≡0,由式(9.57)得 (9.59) 由式(9.54)和(955),并注意到 分-2,可计算出t=t时的H及λ值 H(r)= (9.60) M (9.61) 当系统在最优控制u'()作用下,沿最优轨迹x()进行状态转移时的t即是最 优时刻了,略去式(960)和(961)中的符号(*),即得横截条件为 H(x,u,元,1)+ 00 aM (t)= (9.63) 式(953)表明,在最优轨线上,如和都为常数。又由式(9.56)可知 该常数为零,所以,沿最优轨迹 0 (9.64) 由于Φ中包含x,b和,若将极值曲线上的x,b和,分别用x,b和 表示,则式(964)可以写成 0 (9.65) 上面得到了使性能指标J取极值的必要条件。为了使性能指标取极值 还必须满足充分条件:维尔斯特拉斯函数E沿最优轨线为非负 x =H(x‘,,,1)-H(x',',A,1)≥0 (9.66) 以oi(t)=l(),b·()=u'·(n)代入上式得 H(x,u',A,)≤H( 浙江工业大学自动化研究所

自 动 控 制 原 理电 子 教 案 = −λ ∂ ∂Φ x& 代入式（9.52），得 Γ ∂ ∂ + ∂ ∂ − = T x G x H dt d ( ) λ 即 Γ ∂ ∂ − ∂ ∂ = − T x G x H λ ( ) & （9.57） 若不等式约束函数G 内不含 x ，即为 G[u(t),t] ≥ 0 （9.58） 则由于 ≡ 0 ∂ ∂ x G ，由式（9.57）得 x H ∂ ∂ λ = − & （9.59） 由式（9.54）和（9.55），并注意到 = −λ ∂ ∂Φ x& ，可计算出t = t * f 时的 H 及λ 值 * ( ) [ ] * f t t T f t M v t H t = ∂ ∂ − ∂ ∂ = − θ （9.60） * ( ) [ ( ) ] * f t t T f v x M x t = ∂ ∂ + ∂ ∂ = θ λ （9.61） 当系统在最优控制 作用下，沿最优轨迹 进行状态转移时的 即是最 优时刻 ，略去式（9.60）和（9.61）中的符号（*），即得横截条件为 ( ) * u t ( ) * x t f t * f t [ ( , , , ) ( ) ] = 0 ∂ ∂ + ∂ ∂ + = f t t T v t M t H x u t θ λ （9.62） f t t T f v x M x t = ∂ ∂ + ∂ ∂ ( ) = [ ( ) ] θ λ （9.63） 式（9.53）表明，在最优轨线上， ∂ω& ∂Φ 和 ∂z& ∂Φ 都为常数。又由式（9.56）可知， 该常数为零，所以，沿最优轨迹 ∂ω& ∂Φ = ≡ 0 ∂ ∂Φ z& （9.64） 由于Φ 中包含 x& ，ω& 和 z& ，若将极值曲线上的 x& ，ω& 和 z& ，分别用 x& * ，ω& * 和 * z& 表示，则式（9.64）可以写成 0 * * ≡ ∂ ∂Φ = ∂ ∂Φ ω& z& （9.65） 上面得到了使性能指标 取极值的必要条件。为了使性能指标取极值， 还必须满足充分条件：维尔斯特拉斯函数 a J E 沿最优轨线为非负，即 ( , , , , , , ) ( , , , , , , ) ( ) ( ) * * * * * * * * * * * x x x E x x z t x x z t T & & & & & & & & & − ∂ ∂Φ = Φ ω λ Γ − Φ ω λ Γ − * * * * * * * * * * * * (x , x, , z, , ,t) x (x , x , , z , , ,t) x T T = Φ & ω& & λ Γ + λ & − Φ & ω& & λ Γ − λ & ( , , , ) ( , , , ) 0 * * * * * = H x ω& λ t − H x ω& λ t ≥ （9.66） 以ω&(t) = u(t) ，ω& * (t) = u * (t) 代入上式得 ( , , , ) ( , , , ) * * * * * H x u λ t ≤ H x u λ t （9.67） 浙 江 工 业 大 学 自 动 化 研 究 所 10