拉格朗日乘数法
拉格朗日乘数法
在数学最优化问题中，拉格朗日乘数法（以数学家约瑟夫·路易斯·拉格朗日命名）是一种寻找变量受一个或多个条件所限制的多元函数的极值的方法。这种方法将一个有n 个变量与k 个约束条件的最优化问题转换为一个有n + k个变量的方程组的极值问题，其变量不受任何约束。这种方法引入了一种新的标量未知数，即拉格朗日乘数：约束方程的梯度（gradient）的线性组合里每个向量的系数。此方法的证明牵涉到偏微分，全微分或链法，从而找到能让设出的隐函数的微分为零的未知数的值。
设给定二元函数z=?(x,y)和附加条件φ(x,y)=0，为寻找z=?(x,y)在附加条件下的极值点，先做拉格朗日函数L(x,y)=?(x,y)+λφ(x,y)，其中λ为参数。求L(x,y)对x和y的一阶偏导数，令它们等于零，并与附加条件联立，即
L＇x(x,y)=?＇x(x,y)+λφ＇x(x,y)=0，
L＇y(x,y)=?＇y(x,y)+λφ＇y(x,y)=0，
φ(x,y)=0
由上述方程组解出x，y及λ，如此求得的(x,y)，就是函数z=?(x,y)在附加条件φ(x,y)=0下的可能极值点。
用“拉格朗日乘数法”求极值
求函数f(x,y,z)在条件φ(x,y,z)=0下的极值
方法（步骤）是：
1.做拉格朗日函数L=f(x,y,z)+λφ(x,y,z),λ称拉格朗日乘数
2.求L分别对x,y,z,λ求偏导,得方程组,求出驻点P(x,y,z)
如果这个实际问题的最大或最小值存在,一般说来驻点唯一,于是最值可求.
条件极值问题也可以化为无条件极值求解,但有些条件关系比较复杂,代换和运算很繁,而相对来说,“拉格朗日乘数法”不需代换,运算简单一点.这就是优势.
条件φ(x,y,z)一定是个等式，不妨设为φ(x,y,z)=m
则再建一个函数g(x,y,z)=φ(x,y,z)-m
g(x,y,z)=0,以g(x,y,z)代替φ(x,y,z)
在许多极值问题中，函数的自变量往往要受到一些条件的限制，比如，要设计一个容积为 V的长方体形开口水箱，确定长、宽和高, 使水箱的表面积最小. 设水箱的长、宽、高分别为 x,y,z，则水箱容积V=xyz 焊制水箱用去的钢板面积为 S=2xz+2yz+xy
这实际上是求函数 S 在 V 限制下的最小值问题。
这类附有条件限制的极值问题称为条件极值问题，其一般形式是在条件
限制下，求函数F的极值
条件极值与无条件极值的区别
条件极值是限制在一个子流形上的极值，条件极值存在时无条件极值不一定存在，即使存在二者也不一定相等。
例如，求马鞍面 z=x.^2-y.^2+1 被平面XOZ 平面所截的曲线上的最低点。
从其几何图形可以看出整个马鞍面没有极值点，但限制在马鞍面被平面平面所截的曲线上，有极小值 1，这个极小值就称为条件极值。
条件极值点的必要条件
设在约束条件之下求函数的极值。满足约束条件的点是函数的条件极值点 , 且在该点函数满足隐函数存在条件时, 由方程定隐函数 , 于是点就是一元函数的极限点, 有
代入 , 就有
( 以下、、、均表示相应偏导数在点的值 . )
即— , 亦即 ( , ) , ) .
可见向量( , )与向量 , )正交. 注意到向量 , )也与向量 , )正交, 即得向量( , )与向量 , )线性相关, 即存在实数 , 使
( , ) + , ) .
亦即
Lagrange乘数法 :
由上述讨论可见 , 函数在约束条件之下的条件极值点应是方程组
的解.
引进所谓Lagrange函数
, ( 称其中的实数为Lagrange乘数 )
则上述方程组即为方程组
因此，解决条件极值通常有两种方法
1）直接的方法是从方程组（１）中解出并将其表示为代入消去成为变量为的函数将问题化为函数的无条件极值问题；
2）在一般情形下，要从方程组（1）中解出来是困难的，甚至是不可能的，因此上面求解方法往往是行不通的。通常采用的拉格朗日乘数法，是免去解方程组（1）的困难，将求的条件极值问题化为求下面拉格朗日函数的稳定点问题，然后根据所讨论的实际问题的特性判断出哪些稳定点是所求的极值的。
解应用问题举例
例1
抛物面被平面截成一个椭圆. 求该椭圆到坐标
原点的最长和最短距离.
例3求函数在条件
下的极小值. 并证明不等式 , 其中为任意正常数 .
现在就以上面水箱设计为例，看一看拉格朗日乘数法求解条件极值的过程
解：这个问题的实质是求函数
在条件下的最小值问题，应用拉格朗日乘法，令
L='2*(x*z+y*z)+x*y+v*(x*y*z-V)';
dLdx=diff(L,'x')
dLdy=diff(L,'y')
dLdz=diff(L,'z')
dLdv=diff(L,'v')
dLdx =2*z+y+v*y*z
dLdy =2*z+x+v*x*z
dLdz =2*x+2*y+v*x*y
dLdv =x*y*z-V
令Ｌ的各偏导等零，解方程组求稳定点
s1='2*z+y+v*y*z';
s2='2*z+x+v*x*z';
s3='2*x+2*y+v*x*y';
s4='x*y*z-V';
[v,x0,y0,z0]=solve(s1,s2,s3,s4)
v =
[ -2*2^(2/3)/V^(1/3)]
[ -8*(-1/4*2^(1/3)*V^(1/3)+1/4*i*3^(1/2)*2^(1/3)*V^(1/3))^2/V] [ -8*(-1/4*2^(1/3)*V^(1/3)-1/4*i*3^(1/2)*2^(1/3)*V^(1/3))^2/V]
x0 =[ 2^(1/3)*V^(1/3)]
y0 =[ 2^(1/3)*V^(1/3)]
z0 =[ 1/2*2^(1/3)*V^(1/3)]
这里显然只有实数解才有意义，所以Ｌ的稳定点只有下面一个
又已知所求的问题确实存在最小值，从而解出的稳定点就是最小值点，即水箱长宽与为高的２倍时用钢板最省。
例2
再看一个条件极值求解问题
抛物面被平面截成一个椭圆，求这个椭圆到坐标原点的最长最短距离。(x73)
解这个问题的实质是求函数
在条件与下的最大、最小值问题，应用拉格朗日乘法，令
L='x^2+y^2+z^2+v*(x^2+y^2-z)+h*(x+y+z-1)';
dLdx=diff(L,'x')
dLdy=diff(L,'y')
dLdz=diff(L,'z')
dLdv=diff(L,'v')
dLdh=diff(L,'h')
dLdx =2*x+2*v*x+h
dLdy =2*y+2*v*y+h
dLdz =2*z-v+h
dLdv =x^2+y^2-z
dLdh =x+y+z-1
s1='2*x+2*v*x+h';
s2='2*y+2*v*y+h';
s3='2*z-v+h';
s4='x^2+y^2-z';
s5='x+y+z-1';
[h,v,x0,y0,z0]=solve(s1,s2,s3,s4,s5);
x0,y0,z0
x0 =
[ 3/4-1/4*i*13^(1/2)]
[ 3/4+1/4*i*13^(1/2)]
[ -1/2+1/2*3^(1/2)]
[ -1/2-1/2*3^(1/2)]
y0 =
[ 3/4+1/4*i*13^(1/2)]
[ 3/4-1/4*i*13^(1/2)]
[ -1/2+1/2*3^(1/2)]
[ -1/2-1/2*3^(1/2)]
z0 = -1/2， -1/2， 2-3^(1/2)， 2+3^(1/2)
即的稳定点有两个
因为函数在有界闭集上连续，必有最大值和最小值，而求得的稳定
点又恰是两个，所以它们一个是最大点，另一个是最小，其最大最小值为。(x73)
x1=-1/2+1/2*3^(1/2);
x2=-1/2-1/2*3^(1/2);
y1=-1/2+1/2*3^(1/2);
y2=-1/2-1/2*3^(1/2);
z1=2-3^(1/2);
z2=2+3^(1/2);
f1=(x1^2+y1^2+z1^2)^(1/2)
f2=(x2^2+y2^2+z2^2)^(1/2)
f1 = 0.5829 ; f2 = 4.2024
拉格朗日乘数法举例
我们知道, 对于"限制条件为等式,x值均为正值"的最大化问题, 满足
最大化的x组合一定满足: F(i)(x*)-Σλj Gj(i)(x*)=0, i=1,2,3,.....n, j=1,2,...m. 从这里我们看到,如果限制条件 Gj(x*)=cj 中的 cj 变化
dcj , 如果全部作用于x(i),那么引起的dx(i)=dcj/Gj(i)(x*),从而导致
目标方程取值变化dF=F(i)(x*)dcj/Gj(i)(x*)=λj*dcj [注意:对于同一个
限制条件j,我们由上一节已经知道必然有:
F(i)(x*)/Gj(i)(x*)=F(i')(x*)/Gj(i')(x*)=λj (i不等于i')]. 那么我们得到:λj=dF/dcj.也就是说,拉格朗日乘数其实代表的是cj对最大化目
标函数F的边际影响. 虽然这里考虑的是仅仅cj发生变化,我们可以对此
加以推广,比如整体的c向量发生变化到 c+dc, dc是一个m-维向量, 那么
F的总变化量dF就是Σλj dCj, j=1,2,...m.
举一个具体的实例: 假如一个计划经济体系下,政府实施如前所述的
最大化问题(在有限资源如劳动力,自然矿产,人力资本等的限制下使社会
整体效用/福利最大化),并已经找到了满足最大化条件的x组合. 现在假设万能的上帝允许该国的劳动力资源可以额外增加dc1, 那么根据拉格朗日
乘数的经济学含义我们知道给整个社会带来的福利将是λ1*dc1. 但是上
帝说:要获得这个额外的劳动力资源,你们必须以一定数量的其他资源比如
土地来跟我交换,以示公平.那么我们人类政府该拿多少土地来跟上帝换呢?指定该土地数量为dx2,那么由此减少的社会福利是λ2*dc2. 如果
λ1*dc1>λ2*dc2,上帝不会答应,如果反之我们不会答应.所以必然有
λ1*dc1=λ2*dc2,也就是dc2=(λ1/λ2)dc1. 学过初级微观的朋友马上可以看出,这跟微观经济学中相对价格的概念十分相似.相对价格反映物与物之间的交换价值,即人们愿意怎么样进行物与物的交换.不同的是,这里的
价格不是以钱来计算,而是以社会福利来衡量;这里的相对价格λ1/λ2中的λ1和λ2是基于解决社会福利最大化问题而计算出来的,不同于市场中的价格P1,P2. 由于这个原因,我们把λ叫做"影子价格"(shadow price). 如果我们偶尔发现某个市场经济下市场价格之比恰恰等于影子价格之比,
我们称这个市场被一双看不见的手所指引,因为该市场居然可以自发调整
解决社会福利的最大化问题.
再来考虑"限制条件为非等式"的情况. 我们知道市场价格通常都不可能为零或负数.但是影子价格确不同,它描述的是限制方程右方cj对整体目标函数值的边际影响.在限制条件Gj为非等式的情况下,增加额外的cj不一定就意味着目标函数值的增加.比如, 限制条件为"社会某消费产品不得高于cj",目标函数为投资量.如果cj提高,那么消费该产品增加,导致投资量减少,目标函数值减少.这时影子价格就是一个负值.再比如,目标函数为产量,限制条件为"同时参加劳动的工人数量不得高于cj".如果cj增加,那么同时劳动的工人数量增加,可能导致劳动力边际产量递减效应的发生,这时总产量可能不增反降.这时我们情愿不增加工人;换句话说,我们情愿把
一些资源放在一旁不予利用(free dsiposal).这时候再增加这些劳动力资源,对总产量已经没有作用了,所以影子价格为零. 事实上,根据前一节所
述的库恩-塔克定理,这一点是很明显的.库恩-塔克定理说,满足最大化问
题解的x一定使得下面的条件满足:
Lλ(x, λ)>=0, λ>=0, 互补松散
就是说,如果Lλ(x, λ)=c-G(x*)>0, 那么说明有资源余缺闲置,这时λ=0.如果Lλ(x, λ)=c-G(x*)=0,那么说明资源全部被使用,其边际效用λ>0.
注意:这里我们通过对拉格朗日乘数的解释考查了cj的微小变动dcj
对目标函数最大值的变化的影响,这就是开篇所说的比较静态研究--研究
参数θ的变化对最大值的影响.所以我们在进行比较静态研究的时候必须把目标函数看成是同时关于x和参数θ的函数. 基于这一点,我们从另一个角度来看λ的确定. 考察参数cj,如果cj变化一点点到cj+dcj,那么相应地最佳组合x*变动到x*+dx*,最大目标值也由F(x*)变化为F(x*+dx*).由泰勒一阶展开我们得到: dF=F(x*+dx*)-F(x*)=Fx(x*)dx*+Fcj(x*)dcj.根据拉格朗日乘数法一阶必要条件,我们有:Fx(x*)=λj Gx(x*),所以
dF=λj Gx(x*)dx*+Fcj(x*)dcj=λj Gx(x*)dx*,我们又知道根据限制条件方程G(x*)=cj,在cj变化到cj+dcj的过程中,Gx(x*)dx*=dcj,所以dF=λj dcj.同样推导出了λ的定义式. 更一般地, 如果F和G都是关于x和参数θ的函数,如果参数θ变动到θ+dθ,x随之变动到x+dx,那么:
dF=F(x+dx,θ+dθ)-F(x,θ)=Fx(x,θ)dx+Fθ(x,θ)dθ=λGx(x,θ)dx+F θ(x,θ)dθ (1)
由于G是关于x和θ的函数G(x,θ)=c,所以在θ变化的过程中始终有
Gx(x,θ)dx+Gθ(x,θ)dθ=dc...................................... . (2)
代入(1)式,我们得到:
dF=λdc
-λGθ(x,θ)dθ+Fθ(x,θ)dθ=Lθ(x,λ,θ)dθ+λdc............... .. (3)
这就是最一般化的比较静态公式.我们在研究影子价格λ的时候,没有考虑任何参数θ的变化,所以公式(3)的第一项为零,这样dF=λdc.反之,我们在某些情况下不考虑c的变化,而侧重于参数θ的变化,这时公式(3)变化为: dF=Lθ(x,λ,θ)dθ. 如果只有函数F跟θ有关,而G跟θ无关,那么公式(3)简化为dF=Fθ(x,θ)dθ. 注意:1. 在参数θ变化的过程中,θ-->θ+dθ,x-->x+dx,但是对目标函数值的影响却只要考虑拉格朗日函数对θ的偏微分,而且该偏微分在原来最优点x处取值.这是我们用泰勒一阶展开应该得到的结论. 2.这里的x虽然没有标上星号*,但不言自明的是它们都应该是最优组合,而且它们也都是关于参数θ的函数x(θ). 如果我们把最大化了的F定义成一个新函数最优目标方程V(θ),那么由刚刚推导出来的公式(3): dF=Fθ(x,θ)dθ我们有 Vθ(θ)=Fθ(x(θ),θ). 再次提醒注意,这里的x(θ)是满足最大化条件的最优点.如果我们再定义一个普通目标函数F(x',θ),但是这里的x'是任意值,不一定是最优点x(θ).假设对应这个x'的能使 F 函数值最大的θ是θ'.那么V(θ)在θ'点处的斜率为:Vθ(θ')=Fθ(x(θ'),θ'). 但我们知道,x(θ')=x'.所以
Fθ(x(θ'),θ')=Fθ(x',θ').而后者就是函数F(x',θ)在点θ'的斜率.这就是说,函数V(θ)和函数F(x',θ)在点(x',θ')处的斜率相等. 这个结论对于x'取任意一个固定值都是成立的,所以从几何图形上来看,见图示,最优目标函数V(θ)把普通目标函数曲线族紧紧包围住.因
此,dF=Fθ(x,θ)dθ往往又称为"包络定理"(envelope theorem). 微观经济学里面的短期成本和长期成本之间的关系就是符合信封定理的,因为这里的成本都是满足了成本最小化之后的成本。
拉格朗日乘数法在消费者均衡原则中的应用
微观经济学研究消费者行为时，所要阐述的核心问题是消费者均衡的原则。所谓消费者均衡指的是一个有理性的消费者所采取的均衡购买行为。进一步说，它是指保证消费者实现效用最大化的均衡购买行为。
但人的需要或欲望是无限的，而满足需要的手段是有限的。所以微观经济学所说的效用最大化只能是一种有限制的效用最大化。而这种限制的因素就是各种商品的价格和消费者的货币收入水平。
首先，我们先引入一些名词解释:
总效用(TU):消费者在一定时间内消费一定数量某种商品或商品组合
所得到的总的满足。
边际效用(MU):消费者在所有其它商品的消费水平保持不变时，增加消费一单位某种商品所带来的满足程度的增加，也就是说指增加一单位某种商品所引起的总效用的增加。
商品数量(Q)，商品价格(P), 收入(I)
边际效用的公式表达为:MU=?TU/?Q
那么如何才能实现在制约条件下效用最大化的商品组合呢？
就是当消费者把全部收入用于购买各种商品时，他从所购买的每一种商品所得到的边际效用与其价格的比例都相同，这样的商品组合就是最佳的或均衡的商品组合。
假设当消费者选择两种商品x,y时，消费者均衡原则的公式表达为: MUx ? MUy
Px Py
制约条件的公式表达式为:I=Px?Qx+Py?Qy。那么这一结论是如何推导出来的呢？解决这一问题最直接的方法就是拉格朗日乘数法。
设效用函数U(Qx,Qy),为使它在制约条件下取得极值，首先建立拉格朗日函数:L=U(Qx,Qy)+λ(I-Px?Qx-Py?Qy)，λ为参数。求L(x,y)对x和y的一阶偏导数，令它们等于零，并与附加条件连立。
即
?L/?Qx=?U/?Qx-λPx=0 ⑴
?L/?Qy=?U/?Qy-λPy=0 ⑵
I-Px?Qx-Py?Qy=0 ⑶
将方程⑴除以方程⑵，得:
?U/?Qx ? Px 即 MUx ? MUy
?U/?Qy Py PX Py
所以，消费者要实现两种商品的效用最大化，边际效用的比率应该等于价格比率。
以上是关于x和y两种商品所说的，是否同样适用于多种商品呢？答案是肯定的。如果消费者在n种商品中做出选择，则消费者均衡的原则可表达为:
MU1 ? MU2 ? MU3 ?… ? MUn
P1 P2 P3 Pn
这一结论同样可用拉格朗日乘数法证明。
拉格朗日乘数法可推广到求n元函数?(x1,x2,…,xn)在m个附加条件φ(x1,x2,…,xn)下的条件极值。
方法如下:
m
⑴做拉格朗日函数L(x1,x2,…,xn)=?(x1,x2,…,xn)+
∑λiφi(x1,…x2);
i=1
⑵求L(x1,…xn)关于x1,…xn的偏导数，令它们等于零，并与附加条件联立，即
m
L＇xi==?＇xi+ ∑λiφ'i=0 ,i=1,2,…,n
i=1
φk(x1,x2,…,xn)=0 ,k=1,2,…,n
求解此方程组，可得到极值点。
现在回到我们的问题中，设效用函数U(Qx1,Qx2,…Qxn),为使它在制约条件下取得极值,首先建立拉格朗日函数:
L=U(Qx1,Qx2,…Qxn )+λ(I-Px1?Qx1-P2?Qy2-…-Pxn?Qxn)，λ为参数。求L(x1,x2,…xn)对x1,…,xn的一阶偏导数，令它们等于零，并与附加条件联立。
即
?L/?Qx1=?U/?Qx1-λPx1=0 （1）
?L/?Qx2=?U/?Qx2-λPx2=0 （2）
…… …
?L/?Qxn=?U/?Qxn-λPxn=0 （n）
I-Px1?Qx1-P2?Qy2-…-Pxn?Qxn
将方程⑴到(n)相除，即得，
MUx1 ? MUx2 ?… ? MUxn
Px1 Px2 Pn
所以，消费者要实现n种商品的效用最大化，边际效用的比率应该等于价格比率。