凸优化(08.27)

凸优化总结

1基本概念

1.1） 凸集合：n

S R ?是凸集，如果其满足：x; y S + = 1 x + y S λμλμ∈?∈

几何解释：x; y S ∈，则线段[x,y]上的任何点都S ∈

1.2） 仿

射

集

：

n

S

R

?是仿射集，如果其满足：x; y S , R ,+ = 1 x + y S λμλμλμ∈∈?∈

几何解释：x; y S ∈，则穿过x, y 的直线上的任何点都S ∈

1.3） 子空间：n

S R ?是子空间，如果其满足：x; y S , R , x + y S λμλμ∈∈?∈ 几何解释：x; y S ∈，则穿过x, y ，0的平面上的任何点都S ∈

1.4） 凸锥：n S R ?是凸锥，如果其满足：x; y S ,0 x + y S λμλμ∈≥?∈ 几何解释：x; y S ∈，则x, y 之间的扇形面的任何点都S ?

集合C 是凸锥的充分必要条件是集合C 中的元素的非负线性组合仍在C 中，作为一般化结

果，其中非负线性组合的数目可以推广到无穷

1.5） 超平面：满足{

}

T

x a x = b (a 0)≠的仿射集，如果b=0则变为子空间

1.6） 半空间：满足{

}

T

x a x b (a 0)≤≠的凸集，如果b=0则变为凸锥

1.7） 椭球体：{

}

T -1

c c =x (x-x )A (x-x ) 1 ξ≤T n c A = A 0; x R ∈ 球心 1.8） 范数：f ：R n —R 是一种范数，如果对所有的n

x; y R , t R ∈∈满足

1. f(x) 0; f(x) = 0 x = 0

2. f(tx) = tf(x)

3. f(x + y) f(x) + f(y)

≥?≤

范数分类

● 1范数

2

x

=

● 2范数 1i x

x x =∑

● 3无穷范数 max i i x

x ∞

=

1.9） 有效域：集合(){()}dom f x X f x =∈<∞

1.10） 水平集：{()}{()}x X f x and x X f x αα∈<∈≤，其中α为一标量

1.11） 上镜图：函数:(,f x ∈-∞∞的上镜图由下面的集合给定

{}()(,),,()epi f x w x X w R f x w =∈∈<给出的1n R +给出的子集。

1.12） 多面体：有限数目半空间集合的交集{

}{

}

T

i i x a x b ,1,...=x Ax b P i k =≤= 1.13） 共轭函数：f ：R n —R 上的共轭函数定义为：*()sup (())T x domf

f y y x f x ∈=-，*

f 是凸

函数即使f 不是

1.14） Jensen 不等式： f ：R n —R 上的凸函数

● 两点12112211221,0()()()i f x x f x f x θθθθθθθ+=≥?+≤+ ● 多点

11,0()()i

i i i i i

i i f x f x θ

θθθ=≥?≤∑∑∑

● 连续()0,()1(())()()p x p x dx f xp x dx f x p x dx ≥=?≤

???

● 一般情况 ()()f Ex Ef x ≤

1.15） 凸函数：设C 是n R 上的凸子集，如果

((1))()(1)(),,f ax a y af x a f y x y C +-≤+-?∈

则函数:f C R -称为凸函数

凸函数一阶可微定义

如果f 一阶可微，则f 是凸函数等价于对于所有的0,()x x dom f ∈，

000()()()()f x f x f x x x ≥+?-

凸函数二阶可微定义

如果f 二阶可微，则f 是凸函数等价于()x dom f ∈， 2

()0f x ?

常见的凸，凹函数

● 线性函数和仿射函数都是凸函数

● 二次函数()2T

T

f x x Px q x r =++是凸函数等价于0P ● 任意求范数操作是凸函数 ● x α在R++是凸的1, 0αα≥≤; 凹的01α≤≤

●

x log 在R++是凹的,x x log 在R+是凸的

●

exp()ax 是凸的

● |x|, max(0, x), max(0,?x) 是凸的 ●

2

-t e dt x

log -∞

?是凹的

2规划问题分类

2.1） 线性规划linear program

目标函数和等式限制函数都是仿射函数的规划

Minimize T

c x +

d Subject to Gx h

Ax = b

目标函数中d 可以消除，不会改变其凸性。线性规划的几何解释是仿射集形成的多面体上求解目标函数的最小值。应用中存在等效问题转化，不等式限制变等式限制，等式限制中的变量求出其反函数表达式来消除等式限制，以及找到一些松弛变量，例如如果存在最优解x ，必然相应的-f(x)小于0。

例子：切比雪夫多面体求解中心

注：多项式max f i (x)

Minimize T

T

c x +

d x + f ;

Subject to Gx h

Ax = b

其中T

T

0f (x) =c x + d e x + f ; {

}

T

0domf = x e x + f > 0，目标函数为准凸函数，故该规划为准凸优化问题。一般来说，通过构造新变量，将准凸优化问题转化为新变量的凸问题来解决，利用原变量和新变量的关系求出。这种方法比较常用，实现凸优化问题的等效变化，可以使得问题得以简化，例如将目标函数设为新变量进行优化，求解新变量的反函数实现原优化问题解

2.3） 二次规划quadratic program (QP) 目标函数是二次函数，限制条件是仿射函数

Minimize T

T

(1/2)x Px + q x + r Subject to Gx h

Ax = b

其中P 是半正定矩阵，上式中的不等式限制 Gx h 也可以是二次函数限制

T T i i i (1/2)x P x + q x+ r 0; i = 1,...,m ，此时优化问题转化为二次约束二次规划

quadratically constrained quadratic program (QCQP)问题。此外，线性规划可以视为二

次规划的特殊情况(P=0)。二次规划问题首先是解决约束P 是半正定的，则问题马上可以得以解决。否则，问题的求解形式变得比较困难，即使任意一个i P 不是半征定的。QCQP 问题当i=1时，不用考虑凸和非凸问题，可以求解。对于i=2的情况，如果有一个i P 不是半征定，可以通过SDP 问题，进行求解（Luo on research ）。i 其他情况，如果有一个i P 不是半征定，NP-hard 问题，难以解决。想办法求最有近似解。

几何解释

例子：带限制下的最小误差问题：2

T

T

T

T

2Ax -b = x A Ax -2b Ax + b b ，还有两个多面体之间的距离问题，此外，可以考虑二次规划和信道估计误差相结合，限制条件是误码率小于限定值或者容量大于限定值，限制条件可以增加不断细化问题。

2.4） 二阶锥规划second-order cone program (SOCP)

二阶锥规划是特殊的二次规划形式

Minimize

T f x

Subject to T

i i i i A x + b c x + d ,; i = 1,...,m ≤

Fx = g

其中Ax + b cx + d ≤，为二阶锥限制，如果c=0 则转化为二次限制二次规划问题QCQP 问

题，如果A=0，则转化为线性规划问题，LP 。可见SOCP 问题要比LP 以及QCQP 要更具有普遍性。

例子：鲁棒线性规划可视为二次锥规划

Minimize T

c x

Subject to T

i prob(a x bi)>,1,...,i m η≤=?

转化为SOCP 问题

Minimize T

c x

Subject to

1/2T 1i i a x +()

b ; i = 1,...., m i

x η-Φ≤∑

大部分鲁棒线性规划问题可视为二次锥规划问题来处理，例如，误差的方差小于特定的概率，最小表面问题，连续积分离散化求和。

2.5）

几何规划geomet-ric program (GP).

单项式函数：12n 12n f(x) = cx x x α

α

α

，在此情况下，

y1yn 11n f(e e )=y ++y n log ααβ+ 仿射函数，故凸

束函数：12k

K

k

1

2n k=1

f(x) =

c x x x k

nk α

αα∑

K

y1

yn

11n k=1

f(e e )=exp(y ++y )k nk k log log ααβ+∑

几何规划的表示形式：

Minimize 0f (x)

Subject to i f (x) 1; i = 1, ...,m ≤

i h (x) = 1; i = 1,..., p

其中i f (x)是束函数，i h (x) 是单项式。一般多个单项式限制以及目标函数单项式并非凸函数，优化问题原来形式并非凸优化，但需要对目标函数以及限制条件进行转换，可以通过求对数运算将其转化为凸函数的形式log ,exp()i i i i y x x y ==：

Minimize log y1n

0f (e ey )

S.t. log y1

yn

i f (e e ) 0; i = 1m ≤ Log y1

yn

i h (e e ) = 0; i = 1 p

GP 问题：FDM 系统功率分配问题（Luo- chapter5- ppt ）

2.6） 半正定规划semideinfite program (SDP)

Minimize T

c x

Subject to 11n n x F + + x F + G 0

Ax = b

其中1n F ,F , G k S ∈，p n

A R

?∈，如果1n F ,F , G 是对角矩阵，则该问题转化为线性规划问题

1标准形式SDP ：具有线性等式约束以及限制变量具有非负定性对于n

X S ∈

Minimize tr(CX)

subject to i i tr(A X) = b ; i = 1,, p

X 0

其中1p A ,A , C n

S ∈

2不等式SDP

Minimize T

c x

subject to 11n n x A + + x A B;

其中1n A ,A , B ,n k S c R ∈∈， n

x R ∈

例如：最小化最大特征值问题，对于T

011m m i i A(x) = A + x A ++ x A , A = A ，

x max minimize (A(x))λ是SDP 问题：

Minimize t Subject to A(x) -tI 0

2.7） 鲁棒优化Robust Optimization 一般的优化问题形式：

Minimize 0f (x)

Subject to i f (x) 0; i = 1, ...,p ≤

实际中，由于误差或测试的影响：

Subject to i f (x,) 0; i = 1, ...,p,σσ≤∈?

2.8） SDP Relaxation 对于非凸问题

模型一般性: LP < QP < QCQP < SOCP < SDP. 求解效率: LP > QP > QCQP > SOCP > SDP.

3规划问题的例子

3.1）

多面体中心设计问题

在多面体{}

T

i i P = x a x b , i = 1,,m ≤ 内求解一最大的球，寻找球心称为切比雪夫中心设计问题。

球体T c x 在多面体P 内当且仅当{

}

T

T

i c i i sup a x + a u u b ; i = 1,m;r ≤≤ 从而这也就等价于

T i c i a x +r a bi; i = 1,m ≤

因此，寻找切比雪夫中心可以归结为LP 问题

T i c i r

a x +r a bi; i = 1,,m

Maximize Subject to ≤

3.2）

功率最优化问题

假定同一频率m 发射机，mn 接收机，发射机i 同时给n 个接收机(i;j) j=1n 传输功率。A ijk 代表发射机k 到接收机(i; j)路径增益，N ij 代表接收机的噪声功率。优化变量：发送功率p k , k = 1….m 。

对于接收机(i; j)，期望信号功率：ij iji i S = A p 干扰及其噪声功率：ij ijk

k ij k i

I =A

p + N ≠∑

信噪比：ij ij S I

优化目标：寻找p k 使得最小ij SINR SINR 最大化

iji i

ij

ijk

k ij

k i

A p A

p + N Maximize min

≠∑

线性分式规划问题

功率分配转化为几何规划问题

信噪比（dB ）： ij 10ij ij SINR = 10 log S I 平均信噪比：

iji i ij 10ij ij 10i,j i,j i,j ijk k ij

k i

A p 1010

SINR =log (S I ) =log nm nm A p + N ≠∑∏∏∑ 寻找p k 使得平均 (dB)最大化

ijk

k ij

k i

i,j

iji i

A

p + N A p Minimize ≠∑∏

目前更多的SDP 应用

● 结构优化(structural optimization): Ben-Tal, Nemirovsky, Kocvara, Bendsoe, ● 信号处理(signal Processing) Vandenberghe, Stoica, Lorenz, Davidson,

Shaked, Nguyen, Luo, Sturm, Balakrishnan, Saadat, Fu, de Souza ● 电路设计(circuit design): El Gamal, Vandenberghe, Boyd, Yun,

●

代数几何学(algebraic geometry):Parrilo, Sturmfels, Lasserre, de Klerk, Pressman, Pasechnik

● 通信和信息理论(communications and information theory): Rasmussen,

Rains, Abdi, Moulines,

● 量子论计算(quantum computing):Kitaev, Waltrous, Doherty, Parrilo,

Spedalieri, Rains,

●金融(finance): Iyengar, Goldfarb, . . .

●机器学习(machine learning): Lanckriet, El Ghaoui,.

下一步研究

1，问题的难点在于如何建模，建模非凸，如何凸优化松弛，怎么松弛才能得到较好近似解

2，找出一些优化问题例子，比如波束形成中的加权因子，功率分配，预编码设计，多用户调度等问题，该问题需要涉及搜索最优变量，如何分析

3，思考一些特定的场合中的优化问题，逼近问题，近似问题能否转化到凸优化上来4，SeDuMi软件的应用