最优化方法 信赖域算法
最优化方法——信赖域法
信赖域法 董文峰，03，R数学08-1班伊广旭，03，R数学08-1班李超，04，R数学08-1班 一、算法理论
信赖域方法与线搜索技术一样, 也是优化算法中的一种保证全局收敛的重要技术. 它们的功能都是在优化算法中求出每次迭代的位移, 从而确定新的迭代点.所不同的是: 线搜索技术是先产生位移方向(亦称为搜索方向), 然后确定位移的长度(亦称为搜索步长)。而信赖域技术则是直接确定位移, 产生新的迭代点。 信赖域方法的基本思想是:首先给定一个所谓的“信赖域半径”作为位移长度的上界，并以当前迭代点为中心以此“上界”为半径确定一个称之为“信赖域”的闭球区域。然后,通过求解这个区域内的“信赖域子问题”(目标函数的二次近似模型) 的最优点来确定“候选位移”。若候选位移能使目标函数值有充分的下降量, 则接受该候选位移作为新的位移,并保持或扩大信赖域半径, 继续新的迭代。否则, 说明二次模型与目标函数的近似度不够理想,需要缩小信赖域半径，再通过求解新的信赖域内的子问题得到新的候选位移。如此重复下去，直到满足迭代终止条件。 信赖域方法解决无约束线性规划 f(x)R x ∈min 的基本算法结构。设k x 是第k 次迭代点，记)f(x f k k =，)f(x g k k ?=，k B 是Hesse 阵)f(x k 2?的第k 次近似，则第k 次迭代步的信赖域子问题具有如下形式： ,2 1g (d)min T k d B d d q k T k += k d t s ?≤.. 其中k ?是信赖域半径，?是任一种向量范数，通常取2-范数或∞-范数。 定义k f ?为f 在第k 步的实际下降量： ),d f(x f Δf k k k k +=- 定义k q ?对应的预测下降量： ()().-0k k k k d q q q =? 定义他们的比值为： k k k q f r ??= 一般的，我们有0>?k q 。因此，若0 1.1 矩阵的表示 1.2 矩阵运算 1.2.14 特殊运算 1．矩阵对角线元素的抽取 函数diag 格式X = diag(v,k) %以向量v的元素作为矩阵X的第k条对角线元素，当k=0时，v为X的主对角线；当k>0时，v为上方第k条对角线；当k<0时，v为下方第k条对角线。 X = diag(v) %以v为主对角线元素，其余元素为0构成X。 v = diag(X,k) %抽取X的第k条对角线元素构成向量v。k=0：抽取主对角线元素；k>0：抽取上方第k条对角线元素；k<0抽取下方第k条对角线元素。 v = diag(X) %抽取主对角线元素构成向量v。 2．上三角阵和下三角阵的抽取 函数tril %取下三角部分 格式L = tril(X) %抽取X的主对角线的下三角部分构成矩阵L L = tril(X,k) %抽取X的第k条对角线的下三角部分；k=0为主对角线；k>0为主对角线以上；k<0为主对角线以下。函数triu %取上三角部分 格式U = triu(X) %抽取X的主对角线的上三角部分构成矩阵U U = triu(X,k) %抽取X的第k条对角线的上三角部分；k=0为主对角线；k>0为主对角线以上；k<0为主对角线以下。3．矩阵的变维 矩阵的变维有两种方法，即用“：”和函数“reshape”，前者主要针对2个已知维数矩阵之间的变维操作；而后者是对于一个矩阵的操作。 （1）“：”变维 （2）Reshape函数变维 格式 B = reshape(A,m,n) %返回以矩阵A的元素构成的m×n矩阵B B = reshape(A,m,n,p,…) %将矩阵A变维为m×n×p×… B = reshape(A,[m n p…]) %同上 B = reshape(A,siz) %由siz决定变维的大小，元素个数与A中元素个数 相同。 （5）复制和平铺矩阵 函数repmat 格式 B = repmat(A,m,n) %将矩阵A复制m×n块，即B由m×n块A平铺而成。 B = repmat(A,[m n]) %与上面一致 B = repmat(A,[m n p…]) %B由m×n×p×…个A块平铺而成 repmat(A,m,n) %当A是一个数a时，该命令产生一个全由a组成的m×n矩阵。 1.3 矩阵分解 1.3.1 Cholesky分解 函数chol 格式R = chol(X) %如果X为n阶对称正定矩阵，则存在一个实的非奇异上三角阵R，满足R'*R = X；若X非正定，则产生错误信息。 [R,p] = chol(X) %不产生任何错误信息，若X为正定阵，则p=0，R与上相同；若X非正定，则p为正整数，R是有序的上三角阵。 1.3.2 LU分解 实验一 MATLAB 基本操作及运算 一、 实验目的 二、 实验的设备及条件 三、 实验内容 1、 建立以下标量： 1） a=3 2） ，（j 为虚数单位） 3） c=3/2πj e 2、 建立以下向量： 1） Vb= 2.71382882????????-???? 2） Vc=[4 3.8 … -3.8 -4 ] （向量中的数值从4到-4，步长为-0.2） 3、 建立以下矩阵： 1） 3 333Ma ????=?????? Ma 为一个7×7的矩阵，其元素全为3. 2） 11191212921020100Mb ??????=?????? Mb 为一个10×10的矩阵. 3） 114525173238Mc ????=?????? 4、 使用题1中的变量计算下列等式的x,y,z 的值： 1） ((15)/6)111a x e --=+ 2） 2x π= 3） 3ln([()()]sin(/3))x b c b c a π=+-R ，其中R 表示复数实部。 5、 求解函数值22/(2.25)ct y e -=，其中c 取值见题1，t 的取值范围为题2中行 向量Vc 。 6、 使用题1和题3中所产生的标量和矩阵计算等式 1()()T Mx a Mc Mc Mc -=?? 其中*为矩阵所对应行列式的值，参考det 。 7、 函数的使用和矩阵的访问。 1） 计算矩阵Mb 每一列的和，结果应为行向量形式。 2） 计算整个矩阵Mb 的平均值。 3） 用向量[1 1…1] 替换Mb 的最上一行的值 4） 将矩阵Mb 的第2~5行，第3到9列的元素所构成的矩阵赋值给矩阵SubMb 。 5） 删除矩阵Mb 的第一行； 6） 使用函数rand 产生一个1×10的向量r ，并将r 中值小于0.5的元素设置为0。 8、 已知CellA （1, 1）＝‘中国’，CellA （1，2）＝‘北京’，CellA （2，1）是一个3乘3的单位阵，CellA （2, 2）＝[1 2 3]，试用MATLAB 创建一个2×2的细胞数组CellA 。 9、 已知结构数组student 中信息包含有姓名，学号，性别，年龄和班级，试用MATLAB 创建相应的结构数组student 。该数组包含有从自己学号开始连续5个同学的信息（如果学号在你后面的同学不足5个则往前排序），创建完成后查看自己的信息。 信赖域法示例浅析 摘要：本文介绍了非单调信赖域算法的基本知识，包括非单调信赖域算法的理论、算法框图及数值运算实例，数值结果表明该算法在求解高维非线性规划问题时比一般算法更有效。 关键词：信赖域法信赖半径Hesse阵Bk 引言 信赖域方法是求解非线性规划问题的常用方法之一，因其具有良好的可靠性和强健的收敛性备受非线性优化领域专家们的关注[1]，信赖域方法与线搜索技术一样，也是优化算法中的一种保证全局收敛的重要技术。它们的功能都是在优化算法中求出每次迭代的位移，从而确定新的迭代点。漂亮的收敛性和有效的计算性确定了信赖域算法是一类重要和实用的方法[2]。因此研究约束优化问题的信赖域算法具有重要的意义。 1、算法的基本理论 与线搜索技术相比不同的是：线搜索技术是先产生位移方向（亦称为搜索方向），然后确定位移的长度（亦称为搜索步长）。而信赖域技术则是直接确定位移，产生新的迭代点。信赖域方法的基本思想是：首先给定一个所谓的“信赖域半径”作为位移长度的上界，并以当前迭代点为中心以此“上界”为半径确定一个称之为“信赖域”的闭球区域。然后，通过求解这个区域内的“信赖域子问题”（目标函数的二次近似模型）的最优点来确定“候选位移”。若候选位移能使目标函数值有充分的下降量，则接受该候选位移作为新的位移，并保持或扩大信赖域半径，继续新的迭代。否则，说明二次模型与目标函数的近似度不够理想，需要缩小信赖域半径，再通过求解新的信赖域内的子问题得到新的候选位移。如此重复下去，直到满足迭代终止条件。 2、信赖域方法解决无约束线性规划的基本算法结构 设■是第■次迭代点，记是Hesse阵■的第■次近似，则第■次迭代步的信赖域子问题具有如下形式： 其中■是信赖域半径，■是任一种向量范数，通常取2-范数或∞-范数。定义■为■在第■步的实际下降量： 定义■对应的预测下降量： 定义他们的比值为：。一般的，我们有■。因此，若■，则■，■不能作为下一个迭代点，需要缩小信赖半径重新求解问题。若■比较接近于1，说明二次模型与目标函数在信赖与范围内有很好的相似，此时■可以作为新的迭代点，同时 常用计算方法 1．超越方程的求解 一超越方程为 x (2ln x – 3) -100 = 0 求超越方程的解。 [算法]方法一：用迭代算法。将方程改为 01002ln()3 x x =- 其中x 0是一个初始值，由此计算终值x 。取最大误差为e = 10-4，当| x - x 0| > e 时，就用x 的值换成x 0的值，重新进行计算；否则| x - x 0| < e 为止。 [程序]P1_1abs.m 如下。 %超越方程的迭代算法 clear %清除变量 x0=30; %初始值 xx=[]; %空向量 while 1 %无限循环 x=100/(2*log(x0)-3); %迭代运算 xx=[xx,x]; %连接结果 if length(xx)>1000,break ,end %如果项数太多则退出循环（暗示发散） if abs(x0-x)<1e-4,break ,end %当精度足够高时退出循环 x0=x; %替换初值 end %结束循环 figure %创建图形窗口 plot(xx,'.-','LineWidth',2,'MarkerSize',12)%画迭代线'.-'表示每个点用.来表示，再用线连接 grid on %加网格 fs=16; %字体大小 title('超越方程的迭代折线','fontsize',fs)%标题 xlabel('\itn','fontsize',fs) %x 标签 ylabel('\itx','fontsize',fs) %y 标签 text(length(xx),xx(end),num2str(xx(end)),'fontsize',fs)%显示结果 [图示]用下标作为自变量画迭代的折线。如P0_20_1图所示，当最大误差为10-4时，需要迭代19次才能达到精度，超越方程的解为27.539。 [算法]方法二：用求零函数和求解函数。将方程改为函数 100()2ln()3f x x x =-- MATLAB 求零函数为fzero ，fzero 函数的格式之一是 x = fzero(f,x0) 其中，f 表示求解的函数文件，x0是估计值。fzero 函数的格式之二是 x = fzero(f,[x1,x2]) 1 有限域基础知识 1.1 有限域（Galois域）的构造 令p为一个素数. 则对任意的一个正整数n，存在一个特征为p，元素个数为p n的有限域GF(p n). 注：任意一个有限域，其元素的个数一定为p n，其中p为一个素数（有限域的特征），n为一个正整数. 例1（有限域GF(p)）令p为一个素数，集合 GF(p)=Z p={0,1,2,…,p?1}. 在GF(p)上定义加法⊕和乘法⊙分别为模p加法和模p乘法，即任意的a,b∈GF(p)， a⊕b=(a+b)mod p, a⊙b=(a?b)mod p 则 例注1：给定a和p，例1中的等式ab+pc=1可以通过扩展的欧几里得除法得到，从而求得GF(p)中任意非零元素的逆元. 例2（有限域GF(p n)）从GF(p)出发，对任意正整数n，n≥2，我们可以构造元素元素个数为p n的有限域GF(p n)如下： 令g(x)为一个GF(p)上次数为n的不可约多项式，集合 GF(p n)=GF(p)[x]/?g(x)?={a0+a1x+a2x2+?+a n?1x n?1 | a i∈ GF(p),0≤i≤n?1} 在GF(p n)上定义加法⊕和乘法⊙分别为模g(x)加法和模g(x)乘法，即任意的a(x),b(x)∈GF(p n)， a(x)⊕b(x)=a(x)+b(x), a(x)⊙b(x)=(a(x)?b(x))mod g(x) 则 信赖域方法 信赖域方法在当前搜索点附近具有一个区域，其中关于局部极小化的二次模型 被"信赖"为正确的，并且步骤被选择留在该区域内. 在搜索的过程中，区域大小根据模型和实际函数计算的符合程度被修改. 非常典型地，信赖域采取的是一个满足的椭圆. 是一个对角缩放（通常采用近似 Hessian 的对角），而是信赖域半径，它在每个步骤被更新. 当基于二次模型的步骤本身位于信赖域之内的时候，那么就认为函数值在变小，因而采用这一步骤. 因此，正如线搜索方法中一样，步控制不会干涉算法在二次模型表现良好的极小值附近的收敛效果. 当基于二次模型的步骤位于信赖域之外时，则采用一个只到边界位置的步骤，以使得该步骤成为二次模型在信赖域边界处的近似极小化步骤. 一旦一个步骤被选择，该函数就在新的点被计算，而实际函数值与通过二次模型预测所得到的值互相对照. 真正计算的是实际与预测减少量的比率. 如果接近1，那么该二次模型是一个相当不错的预测器，该区域的大小可以扩大. 另一方面，如果太小，则该区域的大小就要被降低. 当低于某一阈值时，该步骤被拒绝并重新计算. 您可以使用方法选项"AcceptableStepRatio"->控制这一阈值. 通常情况下，是相当小的，以避免走向极小值的步骤也被拒绝. 然而，如果在一个点获取二次模型相当昂贵（例如，计算Hessian 需要花费相对较长的时间），一个较大值的将降低Hessian 计算的次数，但是它可能增加函数计算的次数. 要开始信赖域算法，需要确定一个初始半径. 默认情况下，Mathematica使用基于受比较宽松的相对步长限制的模型(1) 的步骤的大小. 然而，在某些情况下，这可能使您离开您原来感兴趣的区域，所以您可以使用选项指定一个初始半径 . 该选项在它的名字中包含Scaled，因为信赖域半径使用了对角缩放，所以这不是一个绝对的步长. 这里加载一个包含一些功用函数的程序包. In[1]:= 这里显示在搜索一个与Rosenbrock函数类似的函数的局部极小值的过程中，所采用的步骤和计算，用的是了利用信赖域步控制的牛顿法. Matlab中的数学运算符 a+b 加法 a-b减法 a*b矩阵乘法 a.*b数组乘法 a/b矩阵右除 a\b矩阵左除 a./b数组右除 a.\b数组左除 a^b 矩阵乘方 a.^b数组乘方 -a负号 ' 共轭转置 .'一般转置 Matlab的常用内部数学函数指数函数exp(x)以e为底数 对数函数log(x)自然对数，即以e为底数的对数log10(x)常用对数，即以10为底数的对数 log2(x)以2为底数的x的对数 开方函数sqrt(x)表示x的算术平方根 绝对值函数abs(x)表示实数的绝对值以及复数的模三角函数（自变量的单位为弧度） sin(x)正弦函数 cos(x)余弦函数 tan(x)正切函数 cot(x)余切函数 sec(x)正割函数 csc(x)余割函数 反三角函数 asin(x)反正弦函数 acos(x)反余弦函数 atan(x)反正切函数 acot(x)反余切函数 asec(x)反正割函数 acsc(x)反余割函数 双曲函数 sinh(x)双曲正弦函数 cosh(x)双曲余弦函数 tanh(x)双曲正切函数 coth(x)双曲余切函数 sech(x)双曲正割函数 csch(x)双曲余割函数 反双曲函数 asinh(x)反双曲正弦函数 acosh(x)反双曲余弦函数 atanh(x)反双曲正切函数 acoth(x)反双曲余切函数 asech(x)反双曲正割函数 acsch(x)反双曲余割函数 求角度函数atan2(y,x) 以坐标原点为顶点，x轴正半轴为始边，从原点到点（x，y）的射线为终边的角，其单位为弧度 数论函数 gcd(a,b)两个整数的最大公约数 lcm(a,b)两个整数的最小公倍数 排列组合函数 factorial(n)阶乘函数，表示n的阶乘复数函数 real(z)实部函数 imag(z)虚部函数 abs(z)求复数z的模 angle(z)求复数z的辐角 conj(z)求复数z的共轭复数 求整函数与截尾函数 ceil(x)表示大于或等于实数x的最小整数 floor(x)表示小于或等于实数x的最大整数 round(x)最接近x的整数 最大、最小函数 max([a，b，c，．．．])求最大数 min([a，b，c，．．])求最小数 关于无约束最优化问题的信赖域解法 一、引言 无约束优化问题是实际工程中最常见的问题之一。这类问题虽然形式比较简单，但是对于某些大规模的或者非线性很强的问题，求解它们仍然是有相当难度的。 无约束问题的算法大致分成两类：一类在计算过程中要用到目标函数的导数，另一类则只要求目标函数值。本文中所讲述的信赖域法，与牛顿法、最速下降法、共轭梯度法一样，同属于第一类方法。 二、信赖域法的主要内容 2.1 信赖域法的基本思想 虽然信赖域法与最速下降法等同属于一大类，但是在基本思想上还是有所不同。其他几种方法的基本策略是：给定点x(k)后，定义搜索方向d(k),再从x(k)出发沿d(k)作一维搜索，信赖域法则不然，下面重点阐述一下其基本思想：首先给定一个所谓的“信赖域半径”作为位移长度的上界，并以当前迭代点为中心以此“上界”为半径确定一个称之为“信赖域”的闭球区域。然后,通过求解这个区域内的“信赖域子问题”(目标函数的二次近似模型) 的最优点来确定“候选位移”。若候选位移能使目标函数值有充分的下降量, 则接受该候选位移作为新的位移,并保持或扩大信赖域半径, 继续新的迭代。否则, 说明二次模型与目标函数的近似度不够理想,需要缩小信赖域半径，再通过求解新的信赖域内的子问题得到新的候选位移。如此重复下去，直到满足迭代终止条件。 2.2 信赖域法的数学分析 三、 运用信赖域法求解具体问题 考虑无约束问题 432 1122min () 45f x x x x x =++-+ 取初点(1)00x ?? =????，信赖域半径r 1=1，取μ=0.25，η=0.75.用信赖域法求解过 程： 1) 将初值代入目标函数求得函数值f(x (1))=5，目标函数的梯度 实验一 MATLAB 基本操作及运算 实验目的 实验的设备及条件 三、实验内容 1、建立以下标量： 1） a=3 2） b=5+ T 3j, （j 为虚数单位） 2、建立以下向量: 2.71 3、建立以下矩阵： 1) 3 L 3 Ma MOM 3 L 3 Ma 为一个7 >7的矩阵，其元素全为3. 2) 1 11 L 91 2 12 O 92 Mb M M OM 10 20 L 100 Mb 为一个10X0的矩阵. 3) c= e j 2 /3 1) Vb= 38 28 82 2) Vc=[4 3.8 ??- -3.8 -4 ] （向量中的数值从4到-4,步长为 -0.2) 3) 1145 Mc2517 3238 4、使用题1中的变重计第卜列等式的x,y,z的值： 1 1 e( (a 15)/6) U X 1 2)x2（、、a 15对 3)x3ln(R[(b c)(b c)]sin( a /3)),其中R 表示复数实部 5、求解函数值y e ct2 /（2.25 2），其中c取值见题1, t的取值范围为题2中行向量 Vco 6、使用题1和题3中所产生的标量和矩阵计算等式 Mx a Mc （Mc）1（Mc）T 其中*为矩阵所对应行列式的值，参考det。 7、函数的使用和矩阵的访问。 1）计算矩阵Mb每一列的和，结果应为行向量形式。 2）计算整个矩阵Mb的平■均值。 3）用向量［1 1--1］替换Mb的最上一行的值 4）将矩阵Mb的第2~5行，第3到9列的元素所构成的矩阵赋值给矩阵SubMb。5）删除矩阵Mb的第一行； 6）使用函数rand产生一个1X0的向量r,并将r中值小丁0.5的元素设置为00 8、已知CellA (1, 1)='中国'，CellA (1, 2)='北京'，CellA (2, 1) 是一个3乘3的 单位阵,CellA (2, 2) = [1 2 3],试用MATLAB创建一个2X2的细胞数组CellA。 9、已知结构数组student中信息包含有姓名，学号，性别，年龄和班级，试用 MATLAB创建相应的结构数组student。该数组包含有从自己学号开始连续5个同学的信息（如果学号在你后面的同学不足5个则往前排序），创建完成后查看自己的信息。 10、请编写一段matlab程序，完成以下功能： a）利用rand指令生成一个100行，200歹0的二维随机数组Ar； b）找出数组Ar中所有大丁0.45且小于0.55的元素的单下标； c）数组Ar中满足（2）中的条件的元素有多少个？ d）求出数组Ar中满足（2）中的元素的和，并求出这些元素的平■均值； 实验五 使用matlab 实现卷积的运算 一 实验目的 1、 学习MATLAB 语言的编程方法及熟悉MA TLAB 指令； 2、 深刻理解卷积运算，利用离散卷积实现连续卷积运算； 二 实验内容 1、 完成)(1t f 与)(2t f 两函数的卷积运算 其中：)4()()(), ()(221--==-t u t u t f t u e t f t 在一个图形窗口中，画出)(1t f 、 )(2t f 以及卷积结果。要求每个坐标系有标题、坐标轴名称。 >> p=0.1; t=0:p:10; f1=exp(-2*t).*u(t); f2=u(t)-u(t-4); f=conv(f1,f2); subplot(1,3,1); plot(t,f1,'r'); title('f1(t)=e^-2*t*u(t)'); xlabel('t(sec)'); ylabel('f1(t)'); subplot(1,3,2); plot(t,f2,'g'); title('f2(t)=u(t)-u(t-4)'); xlabel('t(sec)'); ylabel('f2(t)'); subplot(1,3,3); plot(f); title('f(t)=f1(t)*f2(t)'); xlabel('t(sec)'); ylabel('f(t)'); 05100 0.10.20.30.40.5 0.6 0.70.8 0.9f1(t)=e - 2*t*u(t)t(sec) f 1(t ) 510 0.10.20.30.4 0.50.6 0.70.80.9 1f2(t)=u(t)-u(t-4) t(sec) f 2(t ) 0200400 0.511.522.53 3.54 4.5 5f(t)=f1(t)*f2(t) t(sec) f (t ) 2、 若系统模型为： )(3)()(4)(4)(' ' ' 't f t f t y t y t y +=++ 其中 )()(t u e t f t -= 求零状态响应，画出波形（函数本身画出一幅图，自己再画出一幅输入波形图）。 a=[1 4 4]; b=[1 3]; sys=tf(b,a); td=0.01; t=0:td:10; f=exp(-t).*u(t); y=lsim(sys,f,t); plot(t,y); xlabel('t(sec)'); ylabel('y(t)'); m a t l a b有限域上的运 算 1 有限域基础知识 1.1 有限域（Galois域）的构造 令p为一个素数. 则对任意的一个正整数n，存在一个特征为p，元素个数为p n的有限域GF(p n). 注：任意一个有限域，其元素的个数一定为p n，其中p为一个素数（有限域的特征），n为一个正整数. 例1（有限域GF(p)）令p为一个素数，集合 GF(p)=Z p={0,1,2,…,p?1}. 在GF(p)上定义加法⊕和乘法⊙分别为模p加法和模p乘法，即任意的a,b∈GF(p)， a⊕b=(a+b)mod p, a⊙b=(a?b)mod p 则 例注1：给定a和p，例1中的等式ab+pc=1可以通过扩展的欧几里得除法得到，从而求得GF(p)中任意非零元素的逆元. 例2（有限域GF(p n)）从GF(p)出发，对任意正整数n，n≥2，我们可以构造元素元素个数为p n的有限域GF(p n)如下： 令g(x)为一个GF(p)上次数为n的不可约多项式，集合 GF(p n)=GF(p)[x]/?g(x)?={a0+a1x+a2x2+?+a n?1x n?1 | a i∈ GF(p),0≤i≤n?1} 在GF(p n)上定义加法⊕和乘法⊙分别为模g(x)加法和模g(x)乘法，即任意的a(x),b(x)∈GF(p n)， a(x)⊕b(x)=a(x)+b(x), a(x)⊙b(x)=(a(x)?b(x))mod g(x) 则 非线性优化中的信赖域方法及其应用 摘要 信赖域方法是非线性优化的一类重要的数值计算方法它在近二十年来受到了非线性优化研究界非常的重视。特别是最近几年，一直是非线性优化的研究热点。目前，信赖域方法已经和传统的线收索方法并列为非线性规划的两类主要数值方法。 关键词：信赖域法非线性优化约束条件 引言 非线性最优化是20世纪50年代发展起来的，它讨论非线性决策问题的最佳选择之特性，构造寻求最佳解的计算方法，研究这些计算方法的理论性质及实际计算表现。随着电子计算机的发展和应用，非线性最优化理论和方法有了很大发展。目前，它已成为运筹学的一个重要分支，并且在自然科学，工程技术，经济管理，系统工程，特别是“优化设计”等诸多领域得到广泛的应用，成为一门十分活跃的学科。 非线性优化的传统方法几乎都是线搜索类型的方法，即每次迭代时产生一搜索方向，然后在搜索方向上进行精确的或不精确的一维搜索，以得到下一个迭代点。信赖域方法是一类很新的方法，它和线搜索法并列为目前求解非线性规划的两类主要的数值方法。信赖域方法思想新颖，算法可靠，具有很强的收敛性，它不仅能很快地解决良态问题 ,而且也能有效地求解病态(ill-conditioned)的优化问题。因而对信赖域方法的研究是近20年来非线性规划领域的一个重要的研究方向，是当今寻求如何构造新的优化计算方法的主要途径。 信赖域方法的研究起源于Powell 1970 年的工作，他提出了一个求解无约束优化问题的算法，该算法在每次迭代时强制性地要求新的迭代点与当前的迭代点之间的距离不超过某一控制量。引入控制步长是因为传统的线搜索方法常常由于步长过大而导致算法失败，特别是当问题是病态时尤为如此。控制步长实质上等价于在以当前迭代点为中心的一个邻域内对一个近似于原问题的简单模型求极值。这种技巧可理解为只在一个邻域内对近似模型信赖，所以此邻域被称为信赖域(trust region)。利用这一技巧的方法也就被称为信赖域法。信赖域的大小通过迭代逐步调节。一般来说,如果在当前迭代模型较好地逼近原问题，则信赖域可扩大，否则信赖域应缩小。后来，人们发现信赖域方法的基本技巧在一定意义下等价于十分著名的求解非线性最小二乘问题的Levenberg - 2Marquadt方法。 一、算法理论 信赖域方法与线搜索技术一样，也是优化算法中的一种保证全局收敛的重要技术。它们的功能都是在优化算法中求出每次迭代的位移，从而确定新的迭代点.所不同的是: 线搜索技术是先产生位移方向(亦称为搜索方向)，然后确定位移的长度(亦称为搜索步长)。而信赖域技术则是直接确定位移，产生新的迭代点。 2012-2013（1）专业课程实践论文 信赖域法 董文峰，03，R数学08-1班 伊广旭，03，R数学08-1班 李超，04，R数学08-1班 一、算法理论 信赖域方法与线搜索技术一样, 也是优化算法中的一种保证全局收敛的重要技术. 它们的功能都是在优化算法中求出每次迭代的位移, 从而确定新的迭代点.所不同的是: 线搜索技术是先产生位移方向(亦称为搜索方向), 然后确定位移的长度(亦称为搜索步长)。而信赖域技术则是直接确定位移, 产生新的迭代点。 信赖域方法的基本思想是:首先给定一个所谓的“信赖域半径”作为位移长度的上界，并以当前迭代点为中心以此“上界”为半径确定一个称之为“信赖域”的闭球区域。然后,通过求解这个区域内的“信赖域子问题”(目标函数的二次近似模型) 的最优点来确定“候选位移”。若候选位移能使目标函数值有充分的下降量, 则接受该候选位移作为新的位移,并保持或扩大信赖域半径, 继续新的迭代。否则, 说明二次模型与目标函数的近似度不够理想,需要缩小信赖域半径，再通过求解新的信赖域内的子问题得到新的候选位移。如此重复下去，直到满足迭代终止条件。 信赖域方法解决无约束线性规划 f(x)R x ∈min 的基本算法结构。设k x 是第k 次迭代点，记)f(x f k k =，)f(x g k k ?=，k B 是Hesse 阵)f(x k 2?的第k 次近似，则第k 次迭代步的信赖域子问题具有如下形式： ,2 1g (d)min T k d B d d q k T k += k d t s ?≤. . 其中k ?是信赖域半径，?是任一种向量范数，通常取2-范数或∞-范数。 定义k f ?为f 在第k 步的实际下降量： ),d f(x f Δf k k k k +=- 定义k q ?对应的预测下降量： ()().-0k k k k d q q q =? 定义他们的比值为： k k k q f r ??= 一般的，我们有0>?k q 。因此，若0 实验一MATLAB 环境的熟悉与基本运算 一、实验目的： 1．熟悉MATLAB 开发环境 2．掌握矩阵、变量、表达式的各种基本运算 二、实验基本知识： 1.熟悉MATLAB 环境： MATLAB 桌面和命令窗口、命令历史窗口、帮助信息浏览器、工作空间浏览器、文件和搜索路径浏览器。 2.掌握MATLAB 常用命令 clc 清除命令窗口中内容 clear 清除工作空间中变量 help 对所选函数的功能、调用格式及相关函数给出说明 lookfor 查找具有某种功能的函数但却不知道该函数的准确名称 3.MATLAB 变量与运算符 变量命名规则如下： （1）变量名可以由英语字母、数字和下划线组成 （2）变量名应以英文字母开头 （3）长度不大于31 个 （4）区分大小写MATLAB 中设置了一些特殊的变量与常量。 4.MATLAB 的一维、二维数组的寻访 5. MATLAB 的基本运算 三、实验内容 1、新建一个文件夹（自己的名字命名，在机器的最后一个盘符） 2、启动MATLAB6.5/7.0，将该文件夹添加到MATLAB 路径管理器中。 3、保存，关闭对话框 4、学习使用help 命令，例如在命令窗口输入help eye，然后根据帮助说明，学习使用指令eye （其它不会用的指令，依照此方法类推） 5、学习使用clc、clear，观察command window、command history 和workspace 等窗口的变化结果。 clear后的操作页面 clc后的操作页面 6、初步程序的编写练习，新建M-file，保存（自己设定文件名，例如exerc1、exerc2、exerc3……）学习使用MATLAB 的基本运算符、数组寻访指令、标准数组生成函数和数组操作函数。注意：每一次M-file 的修改后，都要存盘。 Matlab 矩阵运算 说明：这一段时间用Matlab做了LDPC码的性能仿真，过程中涉及了大量的矩阵运算，本文记录了Matlab中矩阵的相关知识，特别的说明了稀疏矩阵和有限域中的矩阵。Matlab的运算是在矩阵意义下进行的，这里所提到的是狭义上的矩阵，即通常意义上的矩阵。 目录 第一部分：矩阵基本知识 一、矩阵的创建 1.直接输入法 2.利用Matlab函数创建矩阵 3.利用文件创建矩阵 二、矩阵的拆分 1.矩阵元素 2.矩阵拆分 3.特殊矩阵 三、矩阵的运算 1.算术运算 2.关系运算 3.逻辑运算 四、矩阵分析 1.对角阵 2.三角阵 3.矩阵的转置与旋转 4.矩阵的翻转 5.矩阵的逆与伪逆 6.方阵的行列式 7.矩阵的秩与迹 8.向量和矩阵的范数 9.矩阵的特征值与特征向量 五、字符串 六、其他 第二部分矩阵的应用 一、稀疏矩阵 1.稀疏矩阵的创建 2.稀疏矩阵的运算 3.其他 二、有限域中的矩阵 内容 第一部分：矩阵基本知识（只作基本介绍，详细说明请参考Matlab帮助文档） 矩阵是进行数据处理和运算的基本元素。在MATLAB中 a、通常意义上的数量（标量）可看成是”1*1″的矩阵； b、n维矢量可看成是”n*1″的矩阵； c、多项式可由它的系数矩阵完全确定。 一、矩阵的创建 在MATLAB中创建矩阵有以下规则： a、矩阵元素必须在”[ ]“内； b、矩阵的同行元素之间用空格（或”,”）隔开； c、矩阵的行与行之间用”;”（或回车符）隔开； d、矩阵的元素可以是数值、变量、表达式或函数； e、矩阵的尺寸不必预先定义。 下面介绍四种矩阵的创建方法： 1、直接输入法 最简单的建立矩阵的方法是从键盘直接输入矩阵的元素，输入的方法按照上面的规则。建立向量的时候可以利用冒号表达式，冒号表达式可以产生一个行向量，一般格式是： e1:e2:e3，其中e1为初始值，e2为步长，e3为终止值。还可以用linspace函数产生行向量，其调用格式为：linspace(a,b,n) ，其中a和b 是生成向量的第一个和最后一个元素，n是元素总数。可以看出来linspace(a, b,n)与a:(b-a)/(n-1):b等价。 2、利用MATLAB函数创建矩阵 基本矩阵函数如下： (1) ones()函数：产生全为1的矩阵，ones(n)：产生n*n维的全1矩阵，ones (m,n)：产生m*n维的全1矩阵； (2) zeros()函数：产生全为0的矩阵； (3) rand()函数：产生在（0，1）区间均匀分布的随机阵； (4) eye()函数：产生单位阵； (5) randn()函数：产生均值为0，方差为1的标准正态分布随机矩阵。 3、利用文件建立矩阵 当矩阵尺寸较大或为经常使用的数据矩阵，则可以将此矩阵保存为文件，在需要 1 有限域基础知识 1、１有限域(Galois域）得构造 令p为一个素数、则对任意得一个正整数ｎ，存在一个特征为p，元素个数为p n得有限域GF（p n）、 注：任意一个有限域,其元素得个数一定为ｐｎ，其中p为一个素数（有限域得特征）,n为一个正整数、 例１（有限域GＦ(p）)令p为一个素数，集合 ＧF（ｐ)=Zｐ=｛０，1，2,…,p?1}、 ?在GF（p)上定义加法⊕与乘法⊙分别为模p加法与模p乘法，即任意得a,ｂ∈GF（p）, a⊕ｂ=(a+b）moｄp，a⊙b=(a?b)ｍod p 则〈ＧF（p），⊕，⊙＞为一个有p个元素得有限域,其中零元素为0,单位元为１、 令a为GＦ(ｐ)中得一个非零元素、由于gcd（a，p)＝1，因此，存在整数b，c，使得aｂ+pc=１、由此得到a得逆元为ａ?1=ｂmo ｄp、 域GＦ(ｐ)称为一个素域(prｉmｅｆielｄ)、 例注1:给定ａ与p，例1中得等式ab+ｐc＝1可以通过扩展得欧几里得除法得到，从而求得GＦ（p)中任意非零元素得逆元、 例2（有限域GF(pｎ)）从ＧF（p）出发，对任意正整数n,n≥2，我们可以构造元素元素个数为p n得有限域GF(p n）如下: 令g（x）为一个GF(ｐ）上次数为n得不可约多项式,集合 GF（p n）=GF(p）[x］／?ｇ(ｘ）?＝｛ａ0＋ａ１x+a2ｘ２+?+aｎ ?1x n?1 | a i∈GF（p),0≤i≤n?１｝ ?在ＧＦ（p n）上定义加法⊕与乘法⊙分别为模g(x）加法与模g （x）乘法,即任意得a（x）,b（x）∈GF(p n）, a（x）⊕ｂ（x)=ａ（x）+b（x），ａ（x）⊙b(ｘ)=(a(x)?b(x）) ｍod g(ｘ） ?则〈GF（ｐn）,⊕，⊙>为一个有pｎ个元素，特征为p得有限域,其中零元素为GF（p）中得0,单位元为ＧＦ(ｐ)中得1、 令ａ（ｘ)为GF（p n）中得一个非零元素、由于gcd(a（x）,g（x)）=1，因此，存在ＧF（ｐ）上得多项式b(ｘ)，c（ｘ），使得a(x)b(x）+g（x)ｃ（x）=1、由此得到a(ｘ）得逆元为ａ?1(x)=b（x)mod ｇ（x)、 域GF(pｎ)称为GＦ（p)得(n次)扩域（ｅxｔension fｉｅld),而GF（p）称为GF(ｐn)得子域(subfield）、 数字信号处理实验报告 实验一：相关运算和FFT的Matlab实现与应用 实验人：++++ 学号：090802076 指导教师：谢晓春 实验日期：2012年月日 实验地点：6-602 实验操作记录 实验要求 一、实验内容 在心电图数据中加入干扰工频噪声，然后利用相关运算和FFT从中检测出干扰周期信号的频率。 二、实验目的 1、理解并掌握相关运算在周期信号检测中的应用； 2、掌握在matlab环境中相关运算和FFT的实现； 3、掌握在matlab环境中的数据读取、写入及显示的方法。 三、实验步骤 1、读入心电图数据myECG.mat，并将其显示; clc;close all; load('ecgdata.mat'); x=mydata; plot(x); (提示：将ecgdata.mat拷到工程目录下，直接查看变量x中数据) 2、生成幅度为0.1mV的50Hz工频噪声信号； clc;close all; fs=360; load('ecgdata.mat'); x=mydata; noise=0.1*sin(2*pi*50*(0:length(x)-1)/fs); plot(noise); 3、将噪声信号与心电图数据相加，得到退化的心电图数据，并将其保存为DSP能够处理的 数据格式，为后面的实验做准备； clc;close all; clear; fs=360; load('ecgdata.mat'); x=mydata; noise=0.1*sin(2*pi*50*(0:length(x)-1)/fs); x1=x'+noise; x1=x1';%x1转置 %建立input.dat文件存储退化数据供dsp使用 fid=fopen('input.dat','w');%打开文件,'w'是将此文件定义为可写的，fid是此文件的整数标示fprintf(fid,'1651 4 0 1 0\n'); fprintf(fid,'%f\n',x1); fclose(fid); 4、利用相关运算和FFT检测干扰信号的频率； clc;clear;close all; fs=360; 实验一MATLAB环境的熟悉与基本运算 一、实验目的： 1 .熟悉MATLAB开发环境 2 .掌握矩阵、变量、表达式的各种基本运算 二、实验基本知识： 1?熟悉MATLAB环境： MATLAB桌面和命令窗口、命令历史窗口、帮助信息浏览器、工作空 间浏览器、文件和搜索路径浏览器。 2?掌握MATLAB常用命令 CIC 清除命令窗口中内容 clear 清除工作空间中变量 help 对所选函数的功能、调用格式及相关函数给出说明 Iookfor 查找具有某种功能的函数但却不知道该函数的准确名称 3. MATLAB变量与运算符 变量命名规则如下： (1) 变量名可以由英语字母、数字和下划线组成 (2) 变量名应以英文字母开头 (3) 长度不大于31个 (4) 区分大小写MATLAB中设置了一些特殊的变量与常量。 表2 MATLAE車术运空有 表3 MATLAB关系运草苓 表4 'IALLAH逻辑运算符 表5 ?1ATLAB特殊运亘 表6子数组访问与??M冃的相关托令格式 5.MATLAB的基本运算 表7两种运算捋令形式扣实质内酒的异同表 6.MΛΓL?B的営用函数 表&标准数组生成函数 指令含义捋令含义 matlab中的矩阵的基本运算命令范文
实验一 MATLAB基本操作及运算
信赖域法示例浅析
(整理)matlab16常用计算方法.
matlab有限域上的运算
信赖域方法
Matlab中的数学运算符
关于无约束最优化问题的信赖域解法
实验一MATLAB基本操作及运算
实验五 使用matlab实现卷积的运算
matlab有限域上的运算教案资料
信赖域方法概论
最优化方法——信赖域法
实验一 MATLAB 环境的熟悉与基本运算
Matlab 矩阵运算
matlab有限域上的运算
实验一：相关运算和FFT的Matlab实现与应用
实验一MATLAB环境的熟悉与基本运算