09讲 最优控制-极小值-时间最短
离散时间系统最优控制离散时间系统最优控制
第五章离散时间系统最优控制
?前面所讨论的都是关于连续时间系统的最优控制问题。?现实世界中，很多实际系统本质上是时间离散的。?即使是系统是时间连续的，因为计算机是基于时间和数值上都离散的数字技术的，实行计算机控制时必须将时间离散化后作为离散系统处理。 引言 ?因此，有必要讨论离散时间系统的最优控制问题。 ?离散时间系统仍然属于连续变量动态系统(CVDS)范畴。注意与离散事件动态系统(DEDS)的区别。 ? CVDS 与DEDS 是自动化领域的两大研究范畴，考虑不同的自动化问题。
5.1 离散时间系统最优控制问题的提法 (1) 离散系统最优控制举例——多级萃取过程最优控制 ?萃取是指可被溶解的物质在两种互不相溶的溶剂之间的转移，一般用于将要提取的物质从不易分离的溶剂中转移到容易分离的溶剂中。 ?多级萃取是化工生产中提取某种价值高、含量低的物质的常用生产工艺。 萃取器萃取器萃取器萃取器V u (0)u (1)u (k -1)u (N －1) V V V V V V 含物质A 的混合物以流量V 进入萃取器1，混合物中A 浓度x (0); 萃取剂以流量u (0)通过萃取器1，单位体积萃取剂带走A 的量为z (0); 一般萃取过程的萃取物含量均较低，可认为通过萃取器1后混合物流量仍为V ; 流出萃取器1的混合物中A 物质的浓度为x (1)。以此类推至萃取器N 。 1 2 k N x (0) z (0)z (1) z (k-1) z (N -1) x (1) x (2) x (k -1) x (k ) x (N ) x (N -1) 多级萃取过程
(2) 离散系统最优控制问题的提法 给定离散系统状态方程(5-1-6)和初始状态 (5-1-7) 其中分别为状态向量和控制向量，f 为连续可微的n 维 函数向量。考虑性能指标 1 ,,1,0],),(),([)1( N k k k u k x f k x 0 )0(x x m n R k u R k x )(,)( 1 N 其中Φ、L 连续可微。 ?离散系统的最优控制问题就是确定最优控制序列u *(0)，u *(1)，…，u *(N -1)，使性能指标J 达到极小(或极大)值。 ? 将最优控制序列u *(0)，u *(1)，…，u *(N -1)依次代入状态方程，并利用初始条件，可以解出最优状态序列x *(1)，x *(2)，…，x *(N )，也称为最优轨线。 (5-1-8) ] ),(),([]),([k k k u k x L N N x J
最优控制
最优控制综述 摘要：最优化方法是一种求极值的方法，即在一组约束为等式或不等式的条件下，使系统的目标函数达到极值，即最大值或最小值。从经济意义上说，是在一定的人力、物力和财力资源条件下，使经济效果达到最大（如产值、利润），或者在完成规定的生产或经济任务下，使投入的人力、物力和财力等资源为最少。而最优控制通常针对控制系统而言，目的在于使一个机组、一台设备或一个生产过程实现局部最优。本文重点阐述了最优系统常用的变分法、极小值原理和动态规划三种方法的基本理论及其在典型系统设计中的应用。 关键词：变分法、极小值原理、动态规划 1 引言 最优控制是分析控制系统常用的方法，是现代控制理论的核心之一。它尤其与航空航天的制导、导航和控制技术密不可分。最优控制理论所研究的问题可以概括为：对一个受控的动力学系统或运动过程，从一类允许的控制方案中找出一个最优的控制方案，使系统的运动在由某个初始状态转移到指定的目标状态的同时，其性能指标最优。 这类问题广泛存在于技术领域或社会问题中。例如，确定一个最优控制方式使空间飞行器由一个轨道转换到另一轨道过程中燃料消耗最少，选择一个温度的调节规律和相应的原料配比使化工反应过程的产量最多，制定一项最合理的人口政策使人口发展过程中的老化指数、抚养指数和劳动力指数为最优等，都是一些经典的最优控制问题。 最优控制问题是要在满足约束条件下寻求最优控制函数，使目标泛函取极值。求解动态最优化问题的方法主要有古典变分法，极小值原理及动态规划法等。 2 研究最优控制的前提条件 2.1状态方程 对连续时间系统: x t=f x t,u t,t 对离散时间系统：x(k+1)=f x k,u k,k k=0,1,……，（N-1）
线性二次型最优控制
一、主动控制简介 概念：结构主动控制需要实时测量结构反应或环境干扰，采用现代控制理论的主动控制算法在精确的结构模型基础上运算和决策最优控制力，最后作动器在很大的外部能量输入下实现最优控制力。 特点：主动控制需要实时测量结构反应或环境干扰，是一种需要额外能量的控制技术，它与被动控制的根本区别是有无额外能量的消耗。 优缺点：主动控制具有提高建筑物的抵抗不确定性地面运动，减少输入的干扰力，以及在地震时候自动地调整结构动力特征等能力，特别是在处理结构的风振反应具有良好的控制效果，与被动控制相比，主动控制具有更好的控制效果。但是，主动控制实际应用价格昂贵，在实际应用过程中也会存与其它控制理论相同的问题，控制技术复杂、造价昂贵、维护要求高。 组成：传感器、控制器、作动器 工作方式：开环、闭环、开闭环。 二、简单回顾主动控制的应用与MATLAB应用 1.主动变刚度A VS控制装置 工作原理：首先将结构的反应反馈至控制器，控制器按照事先设定好的控制算法并结合结构的响应，判断装置的刚度状态，然后将控制信号发送至电液伺服阀以操纵其开关状态，实现不同的变刚度状态。 锁定状态（ON）：电液伺服阀阀门关闭，双出杆活塞与液压缸之间没有相对位移，斜撑的相对变形与结构层变形相同，此时结构附加一个刚度； 打开状态（OFF）：电液伺服阀阀门打开，双出杆活塞与液压缸之间有相对位移，液压缸的压力差使得液体发生流动，此过程中产生粘滞阻尼，此时结构附加一个阻尼。 示意图如下： 2. 主动变阻尼A VD控制装置 工作原理：变孔径阻尼器以传统的液压流体阻尼器为基础，利用控制阀的开孔率调整粘性油对活塞的运动阻力，并将这种阻力通过活塞传递给结构，从而实现为结构提供阻尼的目的。 关闭状态（ON）：开孔率一定，液体的流动速度受限，流动速度越小，产生的粘滞阻尼力越大，开孔率最小时，提供最大阻尼力，此时成为ON状态； 打开状态（OFF）：控制阀完全打开，由于液体的粘滞性可提供最小阻尼力。 示意图如下：
MATLAB时间最优PID控制算法
MATLAB时间最优PID控制算法 function [ output_args ] = Untitled3( input_args ) %UNTITLED3 Summary of this function goes here % Detailed explanation goes here clear all; close all; ts=20; sys=tf([1],[60,1],'inputdelay',80); dsys=c2d(sys,ts,'zoh'); [num,den]=tfdata(dsys,'v'); u1=0;u2=0;u3=0;u4=0;u5=0; y1=0;y2=0;y3=0; error1=0;error2=0; ei=0; for k=1:1:200 time(k)=k*ts; yd(k)=1.0; y(k)=-den(2)*y1+num(2)*u5; error(k)=yd(k)-y(k); kp=0.45;kd=12;ki=0.0048; A=0.4;B=0.6; ei=ei+(error(k)+error1)/2*ts; M=1; if M==1 if abs(error(k))<=B f(k)=1; elseif abs(error(k))>B&abs(error(k))<=A+B f(k)=(A-abs(error(k))+B)/A; else f(k)=0; end elseif M==2 f(k)=1; end u(k)=kp*error(k)+kd*(error(k)-error1)/ts+ki*f(k)*ei; if u(k)>=10 u(k)=10; end if u(k)<=-10 u(k)=-10; end u5=u4;u4=u3;u3=u2;u2=u1;u1=u(k);
最优控制习题答案
最优控制习题答案 1.设系统方程及初始条件为? ??=+-=)()() (2)()(1211t x t x t u t x t x &&，???==0)0(1)(21x t x 。约束 5.1)(≤t u 。若系统终态)(f t x 自由，利用连续系统极大值原理求)(*t u 性能指标，)3(2x J =取最小值。 解： 2.设一阶离散时间系统为)()()1(k u k x k x +=+，初值2)0(=x ，性 能指标为∑=+=20 2 2 )(21)2(k k u x J ，试用离散系统最小值原理求解最优控 制序列：)2(),1(),0(u u u ，使J 取极小值。 解： 3.软着落、空对空导弹的拦截问题、防空拦截问题。 解答： 4.设离散系统状态方程为)(2.00)(101.01)1(k u k x k x ?? ? ???+??????=+，已知边界条件?? ? ???=01)0(x ，??????=00)1(x 。试用离散系统最小值原理求最优控制序 列，使性能指标∑==1 02 )(03.0k k u J 取极小值，并求出最优的曲线序列。 解：属于控制无约束，N 不变，终端固定的离散最优控制问题，构造离 散 哈 密 尔 顿 函 数 )](2.0)()[1()](1.0)()[1()(03.0)(222112k u k x k k x k x k k u k H ++++++=λλ 其中)1(),1(21++k k λλ为给定拉个朗日乘子序列，由伴随方程：
)1()()(111+=??= k k x H k λλ，)1()1(1.0) ()(2122+++=??=k k k x H k λλλ得出 ?? ?+==+==) 2()2(1.0)1(),2()1() 1()1(1.0)0(),1()0(2121121211λλλλλλλλλλ， 由 极 值 条 件 ??? ????>=??=++=??0 06.0)(0)1(2.0)(06.0) (22 2k u H k k u k u H λ极小)1(310)(2+-=k k u λ可使min )(=k H ，令k=0和k=1的?? ??? -=-=) 2(310 )1(*)1(310)0(*22λλu u ，)(k u 带入状态方程并令k=0和1得到： 5.求 泛 函 dt x x x x J ?++=1 02 221211],[&&满足边界条件 π===-=)3(,0)0(,0)3(,3)0(2211x x x x 和约束条件36221=+t x 的 极值曲线。 解：应用拉格朗日乘子法，新目标函数为： dt t x t x x J )36)((1[2 21 1 022211-++++=?λ&&，令哈密尔顿函数为： )36(12 212221-++++=t x x x H λ&&，可以得到无约束条件新的泛函1 J 的欧拉方程为0)1(2)(22 211 1111=++-=??-??x x x dt d x x H dt d x H &&&&λ (1)
线性二次型最优控制应用举例与仿真
线性二次型最优控制 一、最优控制概述 最优控制，又称无穷维最优化或动态最优化，是现代控制理论的最基本，最核心的部分。它所研究的中心问题是：如何根据受控系统的动态特性，去选择控制规律，才能使得系统按照一定的技术要求进行运转，并使得描述系统性能或品质的某个“指标”在一定的意义下达到最优值。最优控制问题有四个关键点：受控对象为动态系统；初始与终端条件（时间和状态）；性能指标以及容许控制。 一个典型的最优控制问题描述如下：被控系统的状态方程和初始条件给定，同时给定目标函数。然后寻找一个可行的控制方法使系统从输出状态过渡到目标状态，并达到最优的性能指标。系统最优性能指标和品质在特定条件下的最优值是以泛函极值的形式来表示。因此求解最优控制问题归结为求具有约束条件的泛函极值问题，属于变分学范畴。变分法、最大值原理（最小值原理）和动态规划是最优控制理论的基本内容和常用方法。庞特里亚金极大值原理、贝尔曼动态规划以及卡尔曼线性二次型最优控制是在约束条件下获得最优解的三个强有力的工具，应用于大部分最优控制问题。尤其是线性二次型最优控制，因为其在数学上和工程上实现简单，故其有很大的工程实用价值。 二、线性二次型最优控制 2.1 线性二次型问题概述 线性二次型最优控制问题，也叫LQ 问题。它是指线性系统具有二次型性能指标的最优控制问题。线性二次型问题所得到的最优控制规律是状态变量的反馈形式，便于计算和工程实现。它能兼顾系统性能指标的多方面因素。例如快速性、能量消耗、终端准确性、灵敏度和稳定性等。线性二次型最优控制目标是使性能指标J 取得极小值, 其实质是用不大的控制来保持比较小的误差,从而达到所用能量和误差综合最优的目的。 2.2 线性二次型问题的提法 给定线性时变系统的状态方程和输出方程如下： ()()()()()()()() X t A t X t B t U t Y t C t X t ?=+? =? （2.1）
最优控制习题及参考答案
[ 最优控制习题及参考答案 习题1 求通过x(0) = 1 ，x(1) = 2 ，使下列性能指标为极值的曲线： J = ∫(x+1)dt 解：由已知条件知：t= 0 ，t = 1 d 由欧拉方程得：(2x) = 0 dt x= C x = Ct + C 将x(0) = 1，x(1) = 2 代入，有： C= 1，C= 1 得极值轨线：x(t) = t +1 习题2 求性能指标：J = (x+1)dt ∫ 在边界条件x(0) = 0 ，x(1) 是自由情况下的极值曲线。 x(t) 解：由上题得：x(t) = C t + C Array由x(0) = 0 得：C= 0 ?L 由 = 2x(t ) = 2C= 0 t ? 于是：x(t) = 0 【分析讨论】对于任意的x(0) = x，x(1) 自由。
∫ ? λ = 有： C = x ， C = 0 ，即： x (t ) = x 其几何意义： x (1) 自由意味着终点在虚线上任意点。 习题 3 已知系统的状态方程为： x (t ) = x (t ) ， x (t ) = u (t ) 边界条件为： x (0) = x (0) = 1 ， x (3) = x (3) = 0 ， 1 试求使性能指标 J = u (t )d t 2 取极小值的最优控制 u (t ) 以及最优轨线 x (t ) 。 ? x ? 解： 由已知条件知： f = ? ? ?? u ?? Hamiton 函数： H = L + λf H = 1 u + λ x + λ u ?λ = 0 由协态方程： ? 2 ?λ = C ① 得： ? ?λ= ?Ct + C ② ?H 由控制方程： ?u = u + λ= 0 得： u = ?λ= Ct ? C ③ 由状态方程： x = u = Ct ? C 得： x (t ) = 1 C t ? C t + C ④ 2 由状态方程： x = x 得： x (t ) = 1 C t ? 1 C t + C t + C ⑤ 6 2
连续线性二次型最优控制的MATLAB实现
连续线性二次型最优控制的MATLAB 实现 1.绪 论 最优控制问题就是在一切可能的控制方案中寻找一个控制系统的最优控制方案或最优控制规律，使系统能最优地达到预期的目标。随着航海、航天、导航和控制技术不断深入研究，系统的最优化问题已成为一个重要的问题。 本文介绍了最优控制的基本原理，并给定了一个具体的连续线性二次型控制系统，利用MATLAB 软件对其最优控制矩阵进行了求解，通过仿真实验，设计得到最优控制效果比较好，达到了设计的目的。 2.最优控制理论介绍 2.1最优控制问题 设系统状态方程为： ]00)(,),(),()(x t x t t u t x f t x ==? （2—1） 式中，x(t)是n 维状态向量；u(t)是r 维控制向量；n 维向量函数[]t t u t x f ),(),(是x(t)、u(t)和t 的连续函数，且对x(t)与t 连续可微；u(t)在[]f t t ,0上分段连续。所谓最优控制问题，就是要寻求最优控制函数，使得系统状态x(t)从已知初态0 x 转移到要求的终态)(f t x ，在满足如下约束条件下： （1）控制与状态的不等式约束 []0),(),(≥t t u t x g （2—2） （2）终端状态的等式约束 []0),(=f f t t x M （2—3） 使性能指标 [][]?+Θ=f f t t t t t u t x F t t x J f 0 d ),(),(),( （2—4） 达到极值。式中[]t t u t x g ),(),(是m 维连续可微的向量函数，r m ≤；[]f f t t x M ),(是s 维连续可微的向量函数，n s ≤；[]f t t x f ),(Θ和[]t t u t x F ),(),(都是x(t)与t 的连续可
线性系统时间最优控制的存在性和唯一性
线性系统时间最优控制的存在性和唯一性 王思江 08070110242 贵州大学 理学院信计 1.内容介绍: 最优控制理论是现代控制理论中最早发展起来的分支之一。所谓控制就是人们用某种方法和手段去影响事件及其运动的进程和轨道，使之朝着有利于控制主体的方向发展。对于一个给定的受控系统，常常要求找到这样的控制函数，使得在它的作用下，系统从一个状态转移到为设计者希望的另一个状态，且使得系统的某种性能尽可能好。通常称这种控制问题为最优控制问题。最优控制理论主要讨论求解最优控制问题的方法和理论，包括最优控制的存在性、唯一性和最优控制应满足的必要条件等。最优控制理论始于20世纪50年代末，其主要标志是前苏联数学家庞特里亚金等提出的“最大值原理”。最优控制理论在工矿企业、交通运输、电力工业、国防工业和国民经济管理等部门有着广泛的应用。 2.问题: 控制系统 000 ()()()()(),()(2.1)()ad x t A t x t B t u t t t x t x u U =+>?? =???∈? 其中01():[,]n n A t t R ??→,01():[,]n m B t t R ??→.初始状态0x 是n R 中给定的点.控制区 域U 是m R 中有界闭集,ad U 表示取值于U 的可积函数全体. 12()((),(),,())T n n x t x t x t x t R =∈ 表示控制系统的状态变量, 12()((),(),,())T m m u t u t u t u t R =∈ 表示控制系统的控制变量. 假定以下基本条件成立： ()[0,;],()[0,;]:[0,)2[0,),()n n n n m loc loc R A L R B L R L M Hausdorff t M t ρ∞?∞???∈+∞?∈+∞?? +∞→???∈+∞?? 是关于度量连续的多值函数对是非空紧集. 对于00,[1,)t T p ≤<<+∞∈+∞,记 00[,]{:[,]()}u t T u t T U u =→?可测, 00[,+{:[,+()}u t u t U u ∞=∞→?））可测, 00[,][0,](,;)p p m u t T u T L t T R = , 000[,)[,)(,;)p p m loc u t u t L t R +∞=+∞+∞ , 0000(,;){:[,)()[,],}p m m p loc L t R u t R u L t T T t +∞=+∞→?∈?>. 000(,)[0,)n t x R t t ?∈+∞?≥对以及,能达集00()(;,)t t t x ?=?是凸紧的. 假设 {()()}(2.2)t t M t t ≥?≠? , 表示从00(,)t x 到目标()M ?是能控的.
2离散时间的动态最优化问题
第二讲：离散时间的最优化问题 一、对库恩－塔克条件的进一步说明 上一次讲的库恩塔克条件中的互为松弛条件是 0)]([2,1=-x x g a λ (15) 不等式约束实际上包括两种情况，一种是等式成立，另一种是不等式成立 对前一种情况，即在(15)式约束中，如果约束条件中的等号成立，则库恩塔克条件自然满足，即库恩塔克条件等价于用拉格朗日乘数法获得的最优化的一阶条件。 对后一种情况来说，如果约束条件中的等式不成立，则最优解必在区间内。这时，带有不等式约束的最优解与无约束解是一样的。根据最优化解的必要条件，则一阶偏导数必为零，即： 01 1＝x g x f ??=??λ （11）’ 且 02 2＝x g x f ??=??λ 根据隐函数存在定理的要求， 1x g ??和2x g ??不能同时为零。在经济学中，该条件一般是成立的，例如，消费者预算约束C bx ax x x g <+=2121),(, C>0, 而a, b 一般不会同时为0，所以，1x g ??和2 x g ??不同时为0, 则必有0＝λ。 所以，无论那种情况，库恩塔克条件都成立。 二、动态最优化问题 与静态最优化不同，动态最优化是指在一个随时间变化的过程中，选择一条随时间变化的路径，当变量沿着该路径变化时，目标函数达到最大值。因此，动态最优化问题与静态最优化问题的不同之处，主要在于静态最优化问题的解是一个点，于时间无关，而动态最优化问题的解是一条依赖于时间的路径，实际上是
一条曲线。一般来说，这类问题可以分两种情形讨论。第一种情形是时间是离散的，即将一段时间划分为几个不同的区间，有限个或无限个区间都可以。第二种情况是时间是连续的，要求一段时间的任意时刻目标函数达到最优解。 对于离散时间的最优化问题，一般来说，常用的方法有两种，一种是直接建立拉格朗日函数，用拉格朗日乘数法求解。另一种是建立一个贝尔曼（Bellman ）方程，将最优化问题变成一个两期问题求解。 对于连续时间的最优化问题，常用的方法也有两种，一种是变分法，是利用泛函分析的方法，把时间路径看成泛函问题的最优解。另一种方法是汉尔米顿（Hamilton ）法，事实上是拉格朗日乘数法的推广和变种。本节将首先讨论一下离散时间的最优化问题，而将连续时间的最优化问题留给下一讲。 下面，结合某些具体经济问题，理解离散最优化方法的思想和具体步骤。 三、离散时间最优化问题的两种解法（以消费资产定价模型为例） 1. 现代生命周期理论问题的提出 现代生命周期理论是有莫迪利安尼（1963）在50年代和60年代首先创立的，其最最初形式是确定性、非随机的。后来，在理性预期学派的影响下，大约在1978年，由霍尔（Robert. Hall ）成功地给出了生命周期函数的现代形式，即随机的生命周期函数。该理论解决了现时消费与未来消费或储蓄之间、同一时期不同类型储蓄资产之间的配置关系。为说明现代生命周期理论，做如下假设： 1) 消费者的偏好可以写成： U t =E t {f(q 1, q 1，…，q t , …, q T )} 其中，U t 是t 时期的效用，E t 是在t 时期利用了所有可得到的信息的（理性）预期算子，q 1, q 1，…，q t , …, q T 是从时刻1到T 的消费品向量，f(?)是一个对各自变量均非递减的凹函数。该函数计算的效用是在确定性条件下从消费向量得到的，它代表了消费者一生中的消费效用，下标表示年龄的大小，1表示出生日，T 表示死亡日。因为决策是在面对未来的不确定情况下做出的，所以，用预期算子表示消费者目标是期望效用最大化。 2) 为了简单起见，设效用函数满足时际可加性条件，即U t 可以写成： U t =E t ∑=T t r V t (q t ) 由于效用函数是时际可分离的，所以一生效用极大化的含义可简化成两个问
基于MATLAB的线性二次型最优控制设计
基于M A T L A B的线性二次型最优控制设计 The Standardization Office was revised on the afternoon of December 13, 2020
基于MATLAB 的线性二次型最优控制设计 1. 引 言 最优控制问题就是寻找一个控制系统的最优控制方案或最优控制规律，使系统能最优地达到预期的目标。以状态空间理论为基础的最优控制算法是当前振动控制中采用最为普遍的控制器设计方法。本文所讨论的系统是完全可观测的，所以可以用线性二次型最优控制。 本实验介绍了线性二次型最优控制的基本原理，并给定了一个具体的控制系统，利用MATLAB 软件对其最优控制矩阵进行了求解，通过仿真实验，设计所得到的线性二次型最优控制效果比较好，达到了设计的目的。 2. 最优控制理论介绍 假设线性时不变系统的状态方程模型为 x ‘(t)=Ax(t)+Bu(t) y(t)=Cx(t)+Du(t) 引入一个最优控制的性能指标，即设计一个输入量u,使得 J = 为最小。其中Q 和R 分别为对状态变量和输入变量的加权矩阵; t f 为控制作用的终止时间。矩阵S 对控制系统的终值也给出某种约束，这样的控制问题称为线性二次型（Linear Quadratic ，简称LQ ）最优控制问题。 为了求解LQ 问题，我们取Hamilton 函数 其中一种较为简便的解法为： 令λ(t)=P(t)x(t) 而将对λ(t)的求解转化到对函数矩阵P(t)的求解`，特别的，将λ(t)=P(t)x(t)代入上述式子中可得函数矩阵P(t)因满足的微分方程是 1'()()()()()()()()()()(); ().T T P t P t A t A t P t P t B t R t B t P t Q t P tf S -=--+-= (1) 对它的求解可应用成熟的Euler 方法。假定方程(1)的唯一对称半正定解P(t),则LQ 问题的解u(t)由下式给出： '(,(),(),())0.5(()()()()()())()(()()()());LQ ()(()()()());0(()()()()));()()()()(); T T T H t x t u t t x t Q t x t u t R t u t t A t x t B t u t H t Q t x t A t t H Q t x t A t t u x t A t x t B t u t λλδλλδλδλδ=+++=-=-+=+=+并应用变分原理推导出问题解满足的必要条件： ^1()()()()(). LQ u t)=-Kx(t). K T u t R t B t P t x t -=-上述问题的一个特例是动态方程为定常的情形，即 相应的控制向量取为（其中，为才是矩阵，而二次性能指标为
最优控制问题求解方法综述
最优控制问题求解方法综述 学院：信息科学与工程学院 专业班级： 学号： 姓名: 指导老师： 2013年4月27日
最优控制问题求解方法综述 摘要：最优控制理论是研究和解决从一切可能的控制方案中寻找最优解的一门学科。本文阐述了最优控制问题的基本概念，解决最优控制问题的主要方法有古典变分法、极小值原理和动态规划法。本文着重讲解各种方法的特点，适用范围，可求解问题的种类以及各方法之间的联系等。 关键字：最优控制；变分法；极小值原理；动态规划 1、最优控制问题基本介绍 最优控制理论是现代控制理论的核心，控制理论的发展来源于控制对象的要求。随着社会科技的不断进步,最优控制理论的应用领域十分广泛，如时间最短、能耗最小、线性二次型指标最优、跟踪问题、调节问题和伺服机构问题等。 所谓最优控制，就是寻找一个最优控制方案或最优控制律，使所研究的对象（或系统）能最优地达到预期的目标。最优控制研究的主要问题就是根据建立的被控对象的数学模型，选择一个容许的控制律，使得被控对象按预定要求运行，并使给定的某一性能指标达到极小值（或极大值）。在现实动态系统中，动态最优问题的目标函数是一个泛函，求解动态最优问题常用的方法有经典变分法，极小值原理，动态规划和线性二次型最优控制法等。 对于动态系统，当控制无约束时，采用经典微分法或经典变分法；当控制有约束是，采用极值原理或者动态规划；如果是线性的，性能指标是二次型形式的，则可采用线性二次型最优控制问题求解。 2、最优控制的求解方法 2.1变分法 变分法是求解泛函极值的一种经典方法，也是解决最优控制问题的本质方法，是研究最优控制问题的一种重要工具。掌握变分法的基本原理，还有助于理解以最小值原理和动态规划等最优控制理论的思想和内容。 对于没有对泛函的极值函数附加任何条件的求解方法，即无约束条件下的求解方法，我们可以利用欧拉方程求解，在一般性情况下，我们可以利用一下步骤求解：
最优控制总结
/系统的数学模型,物理约束条件及性能指标。数学描述:设被控对象的状态方程及初始条件为 ()[(),(),],(0)0x t f x t u t t x t x == ；其中,()x t X Rn ∈?为状态向量，X 为状态向量的可容许集；()u t Rm ∈Ω?为控制向量，Ω为控制向量的可容许集。试确定容许的最优控制*()u t 和最优状态轨迹*()x t ，使得系统实现从初始状态(0)x t 到目标集[(),]0x tf tf ψ=的转移,同时使得性能指标0 [(),][(),(),]tf t J x tf tf L x t u t t dt ?=+ ? 达到极值。 系统状态方程形式(连续,离散)(2)最优控制形式(开环,闭环) (3)实际应用(时间,燃料,能量,终端 ) (4)终端条件(固定,自由) (5)被控对象形目标函数及约束条件组成的静态优化问题可以描述为：在满足一系列约束条件的可行域中，确定一组优化变量，(极大值或极小值)。 数学描述：min (),,:n n f x x R f R R ∈→，..()0,:;()0,:n m n l s t g x g R R h x h R R =→≥→ 静态最优化问题 ，也称为参数最优化问题，它的三个基本要素是优化变量、目标函数和约束条件，其本质是解决函数，也称为最优控制问题，它的三个基本要素是被控对象数学模型、物理约束条件和性能指标，其本质是解 多变量目标函数沿着初始搜索点的负梯度方向搜索,函数值下降最快,又称最速下降法;(2)多变量无约束。 根据具体的最优换问题构造合适的惩罚函数,将多变量有约束最优化问题转换为一系列多变量无约束最优化问题,从而采用合适 ;(2)多变量有约束(外点法:等式约,不等式约束;内点法:不等式约束)。 通过构造拉格朗日函数,将原多变量有约束最优化问题转化为一个多变量无约束最优化问题,从而采用合适的无约束方法继(等式约束,不等式约束)。 梯度定义12()()()()f x x f x f x f x x x ??? ??????=?=?????? ???，Hessian 矩阵2222 1212 22 2212()()f f x x x f x H x x f f x x x ?? ?????????? == ?? ???????????? ,最优梯度法(无约束)：迭代(1)()()()()k k k k x x f x α+=-?，()()() ()()()()() ()()() k T k k k T k k f x f x f x H x f x α ??=??，终止误差()()()k p k f x ε=-?≤ 例：(),(0),()f x f x H x ??；(0)[(0)(0)]f x T f x α=???/[(0)( 0)]T f x H f x ????；(1)(0)(0)(0)x x f x α=-??；()f xk ε?<，()x k 是极()0,()0x x =≥g h (1) 等式约束：(,)()()T H x f x x λ=+λg ，利用 1210,0,0,0,0n m H H H H H x x x λλ?????=====?????解出极大值点或极小值点。 (2) 不等式约束：()0x ≤h ，引入附加变量2i v 使得不等式约束变为等式约束：2()0i i h x v +=，再有等式拉格朗日乘子法. (1)外部：1)等式约束21112 2 (,)()()()()()m T i i P x f x g x f x g x g x ρρρ==+=+∑ ,用/0P x ??=求解出*()x ρ,令ρ→+∞求出*x ; 2)不等式约束()0x ≥h ：211(,)(){min[(),0]}l i i P x f x h x ρρ==+∑ 3) 复合形式：2 1 122 (,)()()(){min[(),0]}T i P x f x x x h x ρρρ=++∑g g (2)内部：只适用于不等式约束，惩罚函数11(,)()()l i i P x f x h x μμ-==+∑，21 (,)()()l i i P x f x h x μμ-==+∑ ，1(,)()ln[()]l i i P x f x h x μμ==-∑利用 0P x ?=?求解出*()x μ，令0μ+→求出*x C3（变分法） 0(,)()|J x x J x x α δαδα=?=+?，变分规则：1100t t t t Jdt Jdt δδ=??，d x x dt δδ= 欧拉方程****(,,)(,,)[][]0g x x t d g x x t dt ??-=??x x ,横截条件方程****** *(,,)(,,)[ ]|(,,)[]|0f f T T t f t f g x x t g x x t x g x x t t δδ????+-=???? x x x
第1章最优控制问题
第一章 最优控制问题 最优控制理论是现代控制理论中最早发展起来的分支之一. 所谓控制就是人们用某种方法和手段去影响事件及其运动的进程和轨道，使之朝着有利于控制主体的方向发展. 对于一个给定的受控系统，常常要求找到这样的控制函数，使得在它的作用下，系统从一个状态转移到为设计者希望的另一个状态，且使得系统的某种性能尽可能好. 通常称这种控制问题为最优控制问题. 最优控制理论主要讨论求解最优控制问题的方法和理论，包括最优控制的存在性和唯一性和最优控制应满足的必要条件等. 最优控制理论始于20世纪50年代末，其主要标志是前苏联数学家庞特里亚金（L.C.Pontryagin ）等人提出的“最大值原理”. 最优控制理论在工矿企业、交通运输、电力工业、国防工业和国民经济管理等部门有着广泛的应用. 本章我们通过几个具体实例介绍最优控制的基本问题和基本概念及其最优控制问题的数学描述. 第一节 最优控制实例 下面列举几个简单但具有实际应用的例子，他们虽然来自完全不同的领域，但却反映了一个共同的问题-最优控制问题 例1 快速到达问题 考虑一个机构（如车皮）W ，其质量为m ，沿着水平的轨道运动，不考虑空气的 阻力和地面对车皮的摩擦力，把车皮看成一个沿着直线运动的质点，x(t)表示车 皮在t 时刻的位置，u(t)是施加在车皮上的外部控制力，假定车皮的初始位置和 速度分别为00)0(,)0(y x x x == ,我u(t)使车皮在最 短时间内到达并静止在坐标原点，即到达坐标原点时速度为零. 根据牛顿第二定律 0),(>=t t u x m ， (1.1) 令211,x x x x == ，则（1.1）化为 ),(,221t u x m x x == (1.2) 其中)(),(21t x t x 分别表示车皮在t 时刻的位置和速度，写成向量形式
广义特征值与极大极小原理
第二十一讲 广义特征值与极小极大原理 一、 广义特征值问题 1、定义：设A 、B 为n 阶方阵，若存在数λ，使得方程Ax Bx =λ存在非零解，则称λ为A 相对于B 的广义特征值，x 为A 相对于B 的属于广义特征值λ的特征向量。 ● 是标准特征值问题的推广，当B ＝I （单位矩阵）时，广义特征值问题退化为标准特征值问题。 ● 特征向量是非零的 ● 广义特征值的求解 ()A B x 0-λ= 或者 ()B A x 0λ-= → 特征方程 ()det A B 0-λ= 求得λ后代回原方程Ax Bx =λ可求出x 本课程进一步考虑A 、B 厄米且为正定矩阵的情况。 2、等价表述 （1） B 正定，1B -存在 →1 B A x x -=λ，广义特征值问题化为了标准 特征值问题，但一般来说，1B A -一般不再是厄米矩阵。 （2） B 正定，存在Cholesky 分解，H B G G =，G 满秩 H A x G G x =λ 令H G x y = 则 () 1 1 H G A G y y --=λ 也成为标准特征值问题。 ( ) 1 1 H G A G --为厄米矩阵，广义特征值是实数，可以按大小顺序 排列12n λ≤λ≤≤λ ，一定存在一组正交归一的特征向量，即存在 12n y ,y ,y 满足
() 1 1 H i i G A G y y --=λ H i j ij 1i j y y 0 i j =?=δ=?≠? 还原为()1 H i i x G y -= (i=1,2, ,n)，则 ()() H H H H i j i j i j ij 1 i j y y x G G x x Bx 0 i j =?===δ=? ≠? （带权正交） 二、 瑞利商 A 、 B 为n 阶厄米矩阵，且B 正定，称()()H H x A x R x x 0x Bx =≠为A 相对于B 的瑞利商。 12n x ,x ,x 线性无关，所以，n x C ?∈，存在12n a ,a ,a C ∈ ，使 得 n i i i 1 x a x == ∑ H n n n n 2 H H i i i j j j i j i i 1j 1i ,j 1 i 1 x Bx a x B a x a a x Bx a ====???? == = ? ????? ∑∑∑ ∑ n n n 2 H H H i i j i j j i i j i i i ,j 1 i ,j 1 i 1 x A x a a x A x a a x Bx a ==== = λ= λ∑ ∑ ∑ ∴ ()n 2 i i i 1n 2 i i 1 a R x a ==λ= ∑ ∑ ●()1x 0 min R x ≠=λ ()n x 0 max R x ≠=λ 证明：()()()() () H H H H kx A kx x A x R x x Bx kx B kx = = k 为非零常数 可取1k x =， kx 1=
最优控制问题求解方法综述
最优控制问题方法综述 研究生管理大队学员四队 燕玉林 115081105018
最优控制问题方法综述 姓名单位学号 一、最优控制（optimal control）的一般性描述 最优控制是现代控制理论的核心，它研究的主要问题是：根据已建立的被控对象的时域数学模型或频域数学模型，选择一个容许的控制律，使得被控对象按预定的要求运行，并使给定的某一性能指标达到最优值。 使控制系统的性能指标实现最优化的基本条件和综合方法。可概括为：对一个受控的动力学系统或运动过程，从一类允许的控制方案中找出一个最优的控制方案，使系统的运动在由某个初始状态转移到指定的目标状态的同时，其性能指标值为最优。这类问题广泛存在于技术领域或社会问题中。例如，确定一个最优控制方式使空间飞行器由一个轨道转换到另一轨道过程中燃料消耗最少。最优控制理论是50年代中期在空间技术的推动下开始形成和发展起来的。美国学者R.贝尔曼1957年动态规划和前苏联学者L.S.庞特里亚金1958年提出的极大值原理，两者的创立仅相差一年左右。对最优控制理论的形成和发展起了重要的作用。线性系统在二次型性能指标下的最优控制问题则是R.E.卡尔曼在60年代初提出和解决的。 从数学上看，确定最优控制问题可以表述为： 在运动方程和允许控制范围的约束下，对以控制函数和运动状态为变量的性能指标函数（称为泛函）求取极值（极大值或极小值）。解决最优控制问题的主要方法有古典变分法（对泛函求极值的一种数学方法）、极大值原理和动态规划。最优控制已被应用于综合和设计最速控制系统、最省燃料控制系统、最小能耗控制系统、线性调节器等。 研究最优控制问题有力的数学工具是变分理论，而经典变分理论只能够解决控制无约束的问题，但是工程实践中的问题大多是控制有约束的问题，因此出现了现代变分理论。 现代变分理论中最常用的有两种方法。一种是动态规划法，另一种是极小值原理。它们都能够很好的解决控制有闭集约束的变分问题。 值得指出的是，动态规划法和极小值原理实质上都属于解析法。此外，变分法、线性二次型控制法也属于解决最优控制问题的解析法。最优控制问题的研究方法除了解析法外，还包括数值计算法和梯度型法。 最优控制的求解方法包括变分法、极小值原理、动态规划、线性最优
基于自适应动态规划的一类带有时滞的离散时间非线性系统的最优控制
Vol.36,No.1ACTA AUTOMATICA SINICA January,2010 An Optimal Control Scheme for a Class of Discrete-time Nonlinear Systems with Time Delays Using Adaptive Dynamic Programming WEI Qing-Lai1ZHANG Hua-Guang2LIU De-Rong1ZHAO Yan3 Abstract In this paper,an optimal control scheme for a class of nonlinear systems with time delays in both state and control variables with respect to a quadratic performance index function is proposed using a new iterative adaptive dynamic programming (ADP)algorithm.By introducing a delay matrix function,the explicit expression of the optimal control is obtained using the dynamic programming theory and the optimal control can iteratively be obtained using the adaptive critic technique.Convergence analysis is presented to prove that the performance index function can reach the optimum by the proposed method.Neural networks are used to approximate the performance index function,compute the optimal control policy,solve delay matrix function,and model the nonlinear system,respectively,for facilitating the implementation of the iterative ADP algorithm.Two examples are given to demonstrate the validity of the proposed optimal control scheme. Key words Adaptive dynamic programming(ADP),approximate dynamic programming,time delay,optimal control,nonlinear system,neural networks DOI10.3724/SP.J.1004.2010.00121 The optimal control problem of nonlinear systems has always been a key focus in the control?eld in the last several decades.Coupled with this is the fact that noth-ing can happen instantaneously,as is so often presumed in many mathematical models.So strictly speaking,time delays exist in the most practical control systems.Time delays may result in degradation in the control e?ciency even instability of the control systems.So there have been many studies on the control systems with time delay in various research?elds,such as electrical,chemical engineer-ing,and networked control[1?2].The optimal control prob-lem for the time-delay systems always attracts considerable attention of the researchers and many results have been obtained[3?5].In general,the optimal control for the time-delay systems is an in?nite-dimensional control problem[3], which is very di?cult to solve.So many analysis and appli-cations are limited to a very simple case:the linear systems with only state delays[6].For nonlinear case with state de-lays,the traditional method is to adopt fuzzy method and robust method,which transforms the nonlinear time-delay systems to linear systems[7].For systems with time delays both in states and controls,it is still an open problem[4?5]. The main di?culty lies in the formulation of the optimal controller which must use the information of the delayed control term so as to obtain an e?cient control.This makes the analysis of the system much more di?cult,and there is no method strictly facing this problem even in the linear cases.This motivates our research. Adaptive dynamic programming(ADP)is a powerful tool in solving optimal control problems[8?9]and has at-tached considerable attention from many researchers in re-cent years,such as[10?16].However,most of the results focus on the optimal control problems without delays.To Manuscript received September5,2008;accepted March3,2009 Supported by National High Technology Research and Development Program of China(863Program)(2006AA04Z183),National Nat-ural Science Foundation of China(60621001,60534010,60572070, 60774048,60728307),and the Program for Changjiang Scholars and Innovative Research Groups of China(60728307,4031002) 1.Key Laboratory of Complex Systems and Intelligence Sci-ence,Institute of Automation,Chinese Academy of Sciences,Beijing 100190,P.R.China 2.School of Information Science and Engi-neering,Northeastern University,Shenyang110004,P.R.China 3. Department of Automatic Control Engineering,Shenyang Institute of Engineering,Shenyang110136,P.R.China the best of our knowledge,there are no results discussing how to use ADP to solve the time-delay optimal control problems.In this paper,the time-delay optimal control problem is solved by the iterative ADP algorithm for the ?rst time.By introducing a delay matrix function,the explicit expression of the optimal control function is ob-tained.The optimal control can iteratively be obtained us-ing the proposed iterative ADP algorithm which avoids the in?nite-dimensional computation.Also,it is proved that the performance index function converges to the optimum using the proposed iterative ADP algorithm. This paper is organized as follows.Section1presents the preliminaries.In Section2,the time-delay optimal control scheme is proposed based on iterative ADP algorithm.In Section3,the neural network implementation for the con-trol scheme is discussed.In Section4,two examples are given to demonstrate the e?ectiveness of the proposed con-trol scheme.The conclusion is drawn in Section5. 1Preliminaries Basically,we consider the following discrete-time a?ne nonlinear system with time delays in state and control vari-ables as follows: x(k+1)=f(x(k),x(k?σ))+g0(x(k),x(k?σ))u(k)+ g1(x(k),x(k?σ))u(k?τ)(1) with the initial condition given by x(s)=φ(s),s=?σ,?σ+1,···,0,where x(k)∈R n is the state vector, f:R n×R n→R n and g0,g1:R n×R n→R n×m are dif-ferentiable functions and the control u(k)∈R m.The state and control delaysσandτare both nonnegative integral numbers.Assume that f(x(k),x(k?σ))+g0(x(k),x(k?σ))u(k)+g1(x(k),x(k?σ))u(k?τ)is Lipschitz continuous on a set?in R n containing the origin,and that system(1) is controllable in the sense that there exists a bounded con-trol on?that asymptotically stabilizes the system.In this paper,how to design an optimal state feedback controller for this class of delayed discrete-time systems is mainly dis-cussed.Therefore,it is desired to?nd the optimal control u(x)satisfying u(x(k))=u(k)to minimize the generalized performance functional as follows: