文献翻译-变分贝叶斯独立分量分析

(本科毕业设计论文)

毕业设计（论文）外文资料翻译

作者：

学科专业：

学号：

班级：

指导老师：

2014年6月

变分贝叶斯独立分量分析

摘要

信号的盲分离通过info-max 算法在潜变量模型中被视为最大似然学习潜变量模型。在本文我们提出一个变换方法最大似然学习这些模型,即贝叶斯推理。它已经被证明可以应用贝叶斯推理来确定在主成分分析模型潜在的维度。在本文我们为去除在独立分量分析模型中不必要的来源维度获得类似的方法。我们给一个玩具数据集和一些人为的混合图像提出结果。

1.引言

独立分量分析的目的是为一个基于概率性的独立原件找到一个表示法。实现这样的表示方法是给潜变量是独立约束的潜变量模型拟合一个数据。我们假设一个,有潜在的尺寸W ,观察到的尺寸P 和我们的数据集包含样本n 的模型M 。在ICA 方法中通常把潜在的维度称为“来源”。因此我们为独立生成潜在变量X 寻找模型表示，我们将任何给定的数据点n 带入

∏==

I

i

in n x p x p 1

)()( 假设高斯噪声,观察到的变量的每个实例化的概率,带入

)2

exp(2),,,(2μβ

πβμβ--=

n x n n n W t W x t p 其中W 是PXI 矩阵的参数,B 代表了一种逆噪声方差和u 是一个向量的方法。

1.1源分布

众所周知在独立分量分析,潜在分布的选择是很重要的。特别说明它必须是非高斯。非高斯源分布可以分成两类,那些积极的峰度或“沉重的尾巴”和那些消极的峰度或“光明的尾巴”。前者被称为超高斯分布，后者是亚高斯。如果我

们真正的源分布属于这两个中的任何一个类我们可以尝试分开。对于我们的ICA 模型,我们遵循?(1998)选择超高斯或者是亚高斯灵活的源分布。的运算结果的模型应用于两个可能发生的事。阿蒂亚斯选择了每个因素的混合物M 高斯模型

()

∏∑==??

????=I

i m m ni M

m m n m x

x N

p 121

,)(σπ }{m π是混合系数和每个组件是由一个意思毫米和方差q2m 。

阿蒂亚斯提到作为独立的因子分析模型。我们可能现在写下一个可能性,是一个函数的参数W,β,μ

()()()?∏==x x x t n

n

n

n

N

n d p W p W p μβμβ,,,,,t 1

这个功能现在可以最大化的参数来确定独立的组件。传统的优化执行限制作为B 倾向于零。这种方法由贝尔和介绍了盲源分离作为信息最大化算法。与最大的关系可能是由不同的作者包括卡多佐指出(1997)和麦(1996)。

2.ICA 的贝叶斯形式主义

在本文中我们提出，按照推断模型的参数化的贝叶斯方法，而不是通过最大似然学习的参数。这要求我们把先验对模型参数。我们的目标是如何通过一个特定的选择我们的先验分布的显示P(W)我们可能自动判断哪些已经产生了数据源的数量。我们是主教的贝叶斯PCA （1999年），它的目的是确定在启发我们的方法主要子空间的自动维数。我们选择将噪音精密β，与以前的马,

()()

b ββαββ，gam p =

这里我们定义伽玛分布

()()

()τττ

b a b a a a

b -Γ=

-exp ,gam 1

对于混合矩阵W ,我们认为高斯之前。特别是每一个的相关性输入可通过使用自动相关性确定（ARD ）来确定前（尼尔，1996；麦凯，1995年）

()()

∏∏==-=I i P

p i ip N W p 11

1

,0αωα

其中前是由超参数向量管辖，α，长度I 。 参数随着网络的每个输入相关联的向量的一个元素的管辖其决定了它的“相关性”。该超参数α可以通过分层贝叶斯框架来推断。我们因此，把伽玛分布的超高斯通过这些参数，

∏=??? ??=I

i i b a i i gam p 1

)(αααα

最后，我们将一个高斯比之前的手段其

()()∏==P

p p

N

p 1

,0τμμ

中T 的代表事先的逆差额。现在我们可以定义我们的模型可能性。

()()()()?=αβW p x p x W t p M t p ,,

3.变分法

在贝叶斯推理，我们的目标是后验分布为参数。积分在等式10中所示的类型是重要的这一过程。不幸的是，贝叶斯ICA 正如我们所描述的那样，这个积分是棘手的，我们必须寻找到近似取得进展。 我们选择采取变分法（约旦等，1998；劳伦斯，2000）。 变分方法涉及开发一个近似值，q(н),鉴于观察到的变量ν。变推断可以提供严格的下界边缘化数似然的形式，

()()()()

??≥dH H q V H p H q dH V H p ln

,ln

这个结合的和真实的边缘似然之间的差可以被证明,是真正的后验分布之间的距离（KL ）散度近似。

()()()()

??≥dH H q V H p H q dH V H p ln

,ln

如果我们利用一个无限制的近似q(н)，并执行自由形式的马克西-结合11利润最大化，我们会收回q(н）=p （н/ν）和绑定将成为精确。这种方法是一种期望最大化算法的期望步骤。然而，在我们的模型中，如果这样的选择被提出，不会很容易被解决。相反，通过将限制近似分布的形式，我们希望能尽量减少对KL -分歧的实现。变分的选择q 分布是很重要的我们寻求一个选择是足够简单，让我们的计算死板，但其中给出了足够的灵活性，以使绑定（11）。有各种各样的方法来确定一个有用的近似值。拉帕莱宁（1999），例如，施加于他的变分派特定

的参数设置功能表，然后最小化KL 散度梯度它们的参数的优化。在本文中，我们更愿意考虑我们的近似分布的自由形式的优化正如我们已经提到，如果我们允许后近似完全不受约束的自由形式的优化，我们只会恢复真实后路分布并且很难驾驭。因此，我们必须施加近似的形式约束。考虑一个模型，其中的潜变量，H ，分为专属子集。假如我们要对分离性限制在这些子集上我们逼近后，

()()∏=i

i H q H q

它是直接显示，最佳形式后路分布的各个组成部分是

()

()()

H p H q j H i

j

i q

ln exp ∝∏≠

在这里，我们使用的符号< >q ，表示下分布的期望q ，通过利用穿过模型的参数一个近似值，

()()()()()()μβαμβαμ

βαωq q q q q W x W x q x

=,,,,

我们可能获得的表单模型对数似然的一个下

()()

μβμ

βω,,,ln ln x W t p M t p q q q q x ≥

()()

αα

ωW p x p q q q x

ln ln ++

()()()μβαμ

β

α

p p p q

q

q

ln ln ln +

+

+

()()()()()q q q q q S S S S S

x

μ

β

α

ω

+++++

对于贝叶斯ICA 的模型，正如我们所描述的那样，在等式14所有必要的预期可能进行解析地给出下面的结果

()

()

??

? ??

=∏∑∑===D f

x Z q m n m

n N

n M

n

n m M

x N m m I

,1111π

()∑=μμμμ,m q N

()

()

∏∑==P

p p p

m

w q N

1,ωω

ω