视频中移动目标检测综述

基于视频的移动目标检测

论文研读报告

苏航00748178

智能科学系信息科学技术学院

北京大学

摘要

基于视频的移动目标检测是一个重要且有挑战性的任务，在许多应用中都起到相当关键的作用。本次论文研读围绕该主题展开，深入阅读了十余篇论文，在本文总结了视频中移动目标检测的一些主要方法及各自的优劣，并将几个重要的方法大致分为了两个不同的类别：基于像素的移动目标检测和基于区域的移动目标检测。在基于像素的方法中，图像特征完全由各个像素的坐标及灰度值（或颜色值）确定，而在基于区域的方法中，各个像素属性之间的关联成为主要特征来用以提取移动目标。另外本文还讨论了以上两类之外的一些方法。

关键词

视频移动目标检测背景差分高斯混合模型直方图

正文

1 引言

基于视频的移动目标检测在许多实际应用中都担当着核心的任务。譬如视频监视、人机交互、视频编码等广泛的领域都需要有效地进行该工作。帧差法（Frame Differencing）12是视频中检测移动目标最简单直观的方法，其在视频片段中固定间隔的两帧之间计算绝对差，该差值大于一定阈限的像素就认为是运动物体可能存在的区域：

D t(x,y)=Abs.F t(x,y)?F t?k(x,y)/（1）

这种简单的方法有时十分有效，但在更多应用环境下并不能获得期望的效果。这主要是由于视频中各帧之间的差异并不仅仅来源于运动的物体，而同时可能来

1R. Jain and H. Nagel, “On the Analysis of Accumulative Difference Pictures from Image Sequences of Real World

S cenes”, IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 1, no. 2, pp. 206–214, 1979.

2为了避免混淆，本文中将作为主要研读对象的文章列在报告最后的“参考文献”一栏中，而其他引用的

文献则作为脚注注明。

源于很多别的因素。例如在室外道路监视中，由于太阳位置及云雾遮挡阳光的情况不断改变，路面整体的亮度并不固定而是不断改变的，甚至有可能出现大的变化。类似这样可能被错误识别成移动物体的因素还有很多，如移动物体产生的阴影、水面的波纹、摄像机的抖动等。另外，在特定的应用场景下还有其他一些至关重要的问题需要考虑。例如在道路监视中，车辆往往有复杂的遮挡现象，而且车辆的阴影很大程度加剧了这种现象的出现。当然这些困难也并不总是存在的，有些应用中并不会出现这些问题，如室内视频监视就没有大尺度光照变化的问题；也有些应用中并不需要考虑这些问题，如传统的视频编码中阴影、水波等本身并不能忽略所以可以一并视为运动物体。

以上这些分析可以简单看出，视频中的移动目标检测是一件非常有挑战性的工作，而且不同应用环境的需求存在很大的差异。在一个应用中性能很好的算法可能在另一个场景中完全不适用，所以很难使用单一的技术应对所有的应用环境，这也就导致相关的算法技术不断涌现。

Category Method Author and Time

Simplest Method Frame Differencing Jain and Nagel 1979

Pixel-based Methods Mean-threshold Method Wren et al. 1997

3 Gaussians N Friedman, S Russell 1997 Gaussian Mixture Model(GMM) Stauffer and Grimson 2000 Non-parametric Model Elgammal and Davis 2000

Region-based Methods LBP (texture) Heikkila, M. et al. 2006

Co-occurrence matrices (texture) Luo Di, Huang Xiangnian 2008 Covariance matrices Oncel Tuzel et al. 2006 Accumulated Histogram Fatih Porikli 2005

Other Methods Eigenspace decomposition Oliver et al. 2000 早期提出的移动目标检测方法大都单独地处理各个像素的灰度值或颜色而没有考虑较大尺度上的特征，故称它们为基于像素的方法。典型的方法包括均值-阈限方法、高斯混合模型[1]、非参数模型[2]等。由于这些方法没有充分利用局部像素之间的关系信息，很多有效的图像特征无法得到表示，从而导致移动目标检测精度及效度都受到影响。后期大量的检测方法都不同程度地利用了局部区域层次的信息，称为基于区域的方法。典型的基于区域的方法包括纹理方法[5][6]、直方图方法[7]等。

报告接下来的部分组织如下：第二节介绍一般问题的陈述及典型的应用，第三节与第四节分别介绍基于像素的移动目标检测方法与基于区域的移动目标检测方法，第五节进行简单的讨论与总结。

2 问题陈述及应用

一般而言移动目标检测并不单独地构成应用，而是作为一个组件出现在许多实际的应用之中。故移动目标检测的具体要求随着应用的改变而有很大的不同。例如对足球场上球员及足球的检测与跟踪就和对视频中用户手势的跟踪有所不同，前者的关键在于如何应对复杂的光照变化有效提取运动物体，后者的难点则在于如何从整个躯体大范围的运动背景中将手势的运动识别并提取出来。

尽管不同的应用可能提出不同的技术上的要求，但是相当一部分这类问题还是可以在同一的框架下进行探讨和比较的。以下就是本文讨论范围内一般问题的陈述(Figure1)：

a.高层次的模型一般具有检测、跟踪、识别三个模块，其中识别模块并不

必须；

b.检测模块可细分为移动目标区域检测与移动目标分组，其中前者是这个

模块能够顺利工作的保证，其目的是将各帧内移动目标所在的区域标出；

c.该模型的输入为连续的视频，输出为跟踪的物体（即轨迹）或分类的物

体。

Figure1 系统框架

图中即为一个典型的流程图，其中省略了分类模块并把运动目标区域检测规定为背景差分方法。

该模型的典型应用场景是室内\外的视频监视分析(Figure2)，特别是交通数据

的分析。另外体育运动视频（如足球或台球）的分析也能在该模型下解决。

Figure2 移动目标检测的典型应用：视频监控

本文讨论的就是这样一个系统之中移动目标检测部分内容，并且将重点放在了如何判定移动目标区域的部分。这是这样的系统中的最初的处理，对于之后的处理能否获得有效的信息至关重要。该内容主要涉及两个问题：如何提取运动的前景，及如何建立一个良好的背景模型。后者一般并不是应用任务中所要求完成的，但往往是用以提取运动前景很好辅助工具，将新的一帧“减去”背景即可获得移动前景，故同时具有这两个步骤的方法也被称为“背景差分”，是移动目标检测中的一大类主流方法，本报告中涉及的大部分方法即属于这一类。

3 基于像素的移动目标检测

3.1 均值-阈限方法

均值-阈限(Figure3)的基本思路是计算每个像素的平均值和标准差作为它的背景模型。

Figure3 均值-阈限方法

图中为某视频中单个像素在一定时间内不断更新得到的平均值和平均差值3，该像素处在天空的位置，在一段时间后有人的手挥过该区域，可以看到由于前景目标明显不如背景中的天空明亮，所以可以很容易将其分辨出来。

实际上均值-阈限方法就是赋予视频中每个像素一个统计上的背景模型，例如高斯分布模型4。每个点需要两个参数来衡量：均值与方差。后面将看到，许多更先进的基于像素的移动目标检测方法其实无非采用了更复杂的分布模型来描述每个像素。

3.2 阴影去除及三高斯模型

简单的帧差值或均值-阈限方法在很多应用中都面临一个很严重的问题：阴影。在某些光照条件下，移动物体产生的阴影相对背景具有非常显著的差别从而被识别成了前景，有时这些阴影比物体本身还大，并且导致原本独立的运动物体连接在一起无法分割。

一种简单的思路是放弃使用灰度值进行背景建模，而采用颜色信息从而将阴影的移动去除掉。这类方法需要一条假设：移动目标投射到路面上的阴影主要改变了该位置的亮度而对色度没有大的影响5。部分情况下确实可以承认该假设。在不同的颜色模型下有不同提取亮度信息的方式。在HSV等空间中这个任务尤为简单，因为亮度本身就是一个独立的分量，所以在该分量以外的维度上进行背景建模与差分就能消除一定的阴影。如果在常用的RGB颜色空间中，亮度的提取就稍微复杂[3]。

Figure4 RGB空间中的亮度与色度

3类似标准差的作用，但是计算更快捷。

4C.R. Wren, A. Azarbayejani, T. Darrell, and A.P. Pentland, “Pfinder: Real-Time Tracking of the Human B ody,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 19, no. 7, pp. 780-785, July 1997.

5J. M. Alvarez, A. López, and R. Baldrich, "Illuminant-Invariant Model-Based Road Segmentation", IEEE Intelligent Vehicles Symposium, June 2008.

将一个像素的颜色值在RGB 三维空间中表示(Figure4)，背景建模就是确定了穿过原点的一条色度直线，所有在该直线上的颜色都认为是背景色。当前颜色相对参考颜色（背景）的亮度分量αi 由最小化下式给出：

?(αi )=(I i ?αi E i )2 （2）

αi 表示该像素当前值相对参考背景色的相对亮度。如果其值为1则代表亮度相同，大于1代表比背景更亮，小于1代表比背景更暗。

当前颜色到色度直线的垂直距离就表示色度的偏离：

CD i =‖I i ?αi E i ‖ （3）

利用色度与亮度的偏离值就可以将新的颜色值分为四个类别：

M (i )={

Forground: CD i ?>τCD or αi ?>ταlow ,else

Background: αi ?<τα1 and αi ?>τα2, else S adow: αi

?<0, else Hig lig t: ot erwise （4）

其中CD i ?与αi ?分别代表均一化之后的两个偏离分量。

这些方强烈依赖于上面提到的假设：阴影仅仅改变背景亮度而不改变色度。但是这个假设实际上并不总是有效，很多时候还需要更复杂的方法达到去除阴影，鉴别真正移动目标的目的。三高斯模型[4]就是针对去除阴影的考虑提出的。

这个模型中采用三个高斯分布相结合(Figure5)对各像素进行建模。三个高斯成分分别为：道路、运动前景及阴影。这三个成分组合成为了完整的混合模型。

Figure5 三个高斯分布相结合

此方法之后面临的主要问题是如何通过一定时间的学习获得每个高斯分布的参数从而建立有效的模型。相关文献中提出采用EM算法（Expectation Maximization Algorithm）6进行学习。EM算法是一个迭代的算法，通过有限步的迭代就能够获得较好的模型估计。一般而言，为了从一个数据集中获得该数据集满足的混合分布，可以采用最大后验概率估计的方法进行估计，但是这样的方法需要关于每个数据分类的信息（即每个值属于哪个类别）。然而在移动目标检测过程中往往都是无监督的学习从而不可能获得这样的分类信息，而只能自动设定一个预先的分类，然后通过迭代不断改进，这就是EM算法的基本思路。

另外，由于各点的数据是不断改变的，于是采用原始的EM算法对每一帧都进行重复的迭代既不必要也不现实，可以采用EM算法的一个变种：增量EM算法。

3.3 高斯混合模型（GMM）

3.3.1 背景建模

在某些场景之下，采用三个高斯分布的混合模型仍然无法有效地描述复杂的现实环境，于是高斯混合模型[1]被提出了。高斯混合模型采用类似3.2中三个高斯模型的思路，希望采用多个高斯分布相结合的方法来描述环境。与前面的模型不同的是，现在高斯分布的个数不是固定的一个或三个了，而是随着各个像素实际的需要动态地进行设定。另外该方法也放弃采用费时的EM算法而采用更快捷的方式进行背景建模与更新。

假设已知像素(x0,y0)在过去一段时间中的颜色值或灰度值：

{X1,…,X t}=*I(x0,y0,i):1≤i≤t+（5）若由K个高斯分布的高斯混合模型对该像素进行建模，则新观察到一个颜色值或灰度值的概率为：

K

P(X t)=∑ωi, t?η(X t, μi, t, Σi, t)

（6）

i=1

在RGB等彩色空间中为了简化计算可以采用如下公式：

=?k2I（7）

Σ

k,t

6A. Dempster, N. Laird, and D. Rubin, "Maximum Likelihood from Incomplete Data via the EM Algorithm", Journal of the Royal Statistical Society, pp. 1-38, 1977.

这个公式假设了各个颜色分量是相互独立的。尽管事实并不如此，但这样计算在保留充分的精确性的同时大大降低了计算复杂性。

这样每个像素就采用K 个峰的高斯混合模型完成了建模。剩余的问题同样是如何对模型中的各个参数进行估计，以及如何判别前景。

3.3.2 背景更新

背景更新大致有这几个步骤：

a. 每一个新的值都与所有K 个高斯分布进行匹配，直到找到充分吻合的分布（判断方式与均值-阈限方法类似）；

b. 若新的值与所有K 个分布都不接近，则将K 个分布中权值最小的一个替换成一个新的分布，该分布以新的值为均值，并且具有很高的初始方差和很低的初始权重；

c. 若新的值与某个分布充分接近，则认为其属于该分布并更新各个分布的权值及参数：

ωk, t =(1?α)ωk, t?1+α?M k, t

（8） μt =(1?ρ)μt?1+ρ?X t

（9） ?t 2=(1?ρ)?t?12+ρ(X t ?μt )T (X t ?μt )

（10） where ρ=α?η(X t |μk , ?k ) （11）

其中（8）式中M k, t 对于匹配上的分布唯1，对于其他分布为0；

α表示适应性的强弱，α越大，给予新的值的权重越大，也就适应得越快；

（9）式（10）式仅针对匹配上的分布，而其他分布的参数保持不表。

3.3.3 前景检测

运动前景的检测主要有以下几个步骤：

a. 对所有的高斯分布按照ω/σ进行从大到小的排序；

b. 取前B 个高斯分布，满足：

B =argmin b (∑ωk >T b

k=1

) （12）

其中T 表示背景应该占的比重，如果T 取得较小则类似于前面介绍的均值-阈限模型，T 取得较大则允许背景有更丰富的特性，如随风摆动的树叶

或水面的波纹等等。

c.如果当前出现的新的值并不符合这B个高斯分布，则认为是运动的前景，

否则认为是背景。

3.4 非参数模型

3.4.1 背景建模

为了能够更快速地适应变化的背景，并且保证对移动物体的敏感性，马里兰大学A. Elgammal等人提出采用非参数的模型[2]对各个像素进行建模。该方法并不指定确切模型形式，而采用核函数来利用历史数据建立模型。在采用高斯核的情况下，一个颜色出现的概率7：

P(x t)=1

N

∑K(x t?x i)

N

i=1

=1

N

∑

1

√2π?j2

?

1

2

.x t j?x i

j

/

2

σj2

d

j=1

N

i=1

（13）

这样实际上就是对考虑范围内所有的历史值都建立一个高斯分布，并利用所有这些分布对当前值进行分析。由于高斯分布的假设，故(x i+1?x i)~N(0,2?2)，于是可以估计方差：

?=m

（14）

其中m是|x i+1?x i|的中位数。

另外由于在这种方法下需要大量计算核函数的值，故可以预先计算出一定精度的核函数数据表，通过查表的方法大大加快计算的速度。实验表明这样的方法在一般的PC机上是可以达到实时的计算要求的。

3.4.2 减少错误检测

为了降低由于局部抖动（如树叶抖动、摄像机抖动）带来的错误检测，该方法利用了一定的区域信息。原先的P(x t)现在改用P N(x t)代替：

P N(x t)=max y∈N(x)Pr *x t|B y+（15）此处N(x)指该像素周围的一个小区域，B y指像素y对应的背景模型。这样就充分降低了由于小范围抖动导致的错误检测。

7该式成立仍然需要假设各个颜色分量相互独立。

该方法需要维护两个背景模型：长期模型及短期模型。其中短期的模型是为了能够快速适应变化的背景而提出的，仅利用相当短的一段历史值建立模型，另外该模型采用选择更新机制（仅对判定属于背景的值进行更新）；长期的模型在相当长的时间内通过盲更新机制（对所有值进行更新）获得。两个模型判定结果的交集能够进一步降低错误的检测，但同时也去除了部分实际上是移动目标的部分。最终采用的策略为：所有由短期模型检测出来，并且与两个模型判定结果交集相邻的像素被视作运动的前景。

3.4.3 去除阴影

这个方法同样提到了去除阴影的问题(Figure6)。

采用RGB颜色模型的一个变种表示颜色：

r=

R

R+G+B

,g=

G

R+G+B

,b=

B

R+G+B

, （16）s=R+G+B（17）

令A为某个像素在一定时间内的取值，而定义B如下：

B=*x i|x i∈A?α≤s t

s i

≤β+（18）其含义就是该像素过去的背景取值中与当前值亮度接近的值的集合

利用B中的值在（r, g）二维空间上进行上述的背景建模及前景检测，就能很有效地消除检测的阴影。

Figure6 非参数模型下的阴影去除

4 基于区域的移动目标检测

从上面的介绍的方法来看，建立的背景模型越来越复杂：高斯分布的个数从一个到三个，再到K个，再到每个历史值各一个。这样的背景模型已经具有了高度的复杂性，但是在有些应用环境下效果仍然并不理想。反思一下这些方法的特点，仅仅利用各个像素的独立信息而没有考虑像素之间的关联性是关键的原因。其实在3.4.2中采用方法实际上已经开始尝试以局部区域作为考虑问题的范围，

并且很好地提高算法的检测能力。针对这个方面考虑，应该采用基于区域信息的方法对背景进行建模，下面就针对几个典型的基于区域的方法进行介绍。

4.1 LBP纹理

基于区域的检测中很大一类方法都是利用图像的纹理信息来提取有效的运动物体的。此时用何种方法来提取并表示纹理特征称为关键的问题。LBP（Local Binary Pattern, Figure7）[5]即为一种简单有效的纹理提取及表示方式。

LBP是一种优秀的纹理特征描述子，它将一幅图像中各个像素周围的像素与中心像素做差，并将差值表示为一个二进制数列（Binary Pattern）。最初提出的LBP仅仅考虑了一个像素周围的8个像素8，然而其定义可以很容易地扩展到任意圆周范围内任意多个像素：

LBP P, R(x c, y c)=∑s(g p?g c)2p

P?1

p=0

, （19）

s(x)={1x≥0

0x<0

（20）

Figure7 Local Binary Pattern

若仅仅有这样一个二进制串来表示表示中心点的纹理，这样的特征过于简陋而很难有效地区分各个位置的纹理。实际上采用的方法是在一定大小的区域内对各个像素的LBP进行计算并生成关于LBP特征的直方图，以该直方图作为该区域中心点的纹理特性。

有了这样一个对各个点纹理的良好表达，剩下的部分可以完全采用与之前相同的方式。最流行的方法还是GMM中采用的背景更新和前景提取的方法：

m k

????? =αb ?+(1?αb)m k

????? , αb∈,0,1-,（21）

8T. Ojala, M. Pietika¨inen, and D. Harwood, “A Comparative Study of Texture Measures with Classification Based on Feature Distributions,” Pattern Recognition, vol. 29, no. 1, pp. 51-59, 1996.

ωk =αωM k +(1?αω)ωk , αω∈,0,1-, （22）

ω0+ω1+?+ωB?1>T B , T B ∈,0,1-, （23）

（21）~(24)式与标准的GMM 模型中的从形式与内涵上均一致。需要注意的是，现在每个像素的特征采用直方图的结构表示，故需要定义一种方式来衡量两个直方图之间的相似程度。可采用两个直方图的交（即相同成分的计数）来衡量该相似程度：

?(a , b

? )=∑min (a n , b n )N?1

n=0

, （24） 4.2 Co-Occurrence Matrices

正如前面提到的，基于区域的方法的关键在于如何找到良好的描述纹理特征的描述子。Co-Occurrence Matrices [6]也是这样一种描述纹理的描述子。

图像中每个像素的纹理特征由一个m x n 的矩阵表示，称之为Co-Occurrence Matrix 。其表示以该像素为中心的m x n 的区域内的纹理信息：

C (i,j )=∑∑{1, if I (p,q )=i and I (p +Δx,q +Δy )=j 0, ot erwise m

q=1n p=1 （25） 这实际上就是对该区域中各种偏移模式进行统计，并利用该矩阵对这些统计数据进行一致的描述。

基于Co-Occurrence Matrices 的移动目标检测完全可以套用GMM 模型中的背景建模方式，只需要类似（24）定义两个矩阵之间相似程度的衡量标准即可。

另外也可以通过计算该矩阵的一些统计信息来作为区域特性的衡量：

Energy: ∑∑C 2(i,j )j

i , （26）

Entropy: ?∑∑C (i,j )log C (i,j )j

i , （27）

Contrast: ∑∑(i,j)2C (i,j )j

i ， （28）

Inverse Difference Moment: ∑∑C(i,j)|i ?j|2

,i ≠j j

i ， （29） 其中能量表示纹理的一致性，当图像具有较强的周期性时能量值较高；熵衡

量的是图像的无序性；对比度衡量的是图像局部的变化程度；而逆差异距衡量图像的同质性。

利用这些统计特征，不仅可以有效地提取移动目标，还可以充当去除阴影的工具。(Figure8)

对于初步识别为前景的像素，计算其当前特征与背景特征的相似度： Sim =Eng ×Eng +Ent ×Ent +Con ×Con +Inv ×Inv I 2I 2I 2I 2B 2B 2B 2B 2（30）

若Sim 小于某个阈值，则重新将该像素划为背景而不计入运动物体的范围。

Figure8 Co-Occurrence Matrices 方法中的阴影检测 另外，后期对移动物体进行跟踪时也能采用该相似度：在连续帧之间进行计算，从而判断当前帧内的移动物体与先前帧内移动物体的对应关系。

4.3 直方图方法

采用类似LBP 方法中的思路，可以直接以灰度值或颜色值的直方图作为特征进行移动目标的检测[7]。

在自然的环境下，每个像素的可见性与颜色快速地变化。为了能够获得较稳定的直方图，该方法中抛弃采用区域特征代表像素行为的思路，而本身就以小的区域作为最小的单元进行背景建模与移动目标的检测。可以看出最终的检测结果也是以一定大小的区域为基本单位的。(Figure9)

Figure9 直方图方法

与3.4中非参数方法类似，该方法也引入两种类型的直方图：短时间直方图与长时间直方图。当有移动目标进入一个区域时，该区域的短时间直方图形状有较大的变化，而长时间的直方图则基本维持原先的形状。(Figure10)这样通过计算两个直方图之间的差异大小就能够判断该区域当前是否有移动目标出现。

Figure10 两帧各自的短时间直方图（上）与长时间直方图（下）

剩下来的问题就是如何计算两个直方图之间的相似程度。可以采用 4.1节LBP 纹理法中取交集的方法，也可以采用其他的方法。

下面介绍另外一个较快速且有效的方法。

将长时间直方图H L t (i,j )与短时间直方图H S t (i,j )之间的关联表述为：

C t (i,j )=max,C 1t (i,j ),C 2t (i,j )- （31）

其中C 1t (i,j )与C 2t (i,j )分别定义如下：

C 1t (i,j )=max ?dδ≤δ<0K 1(δ) （32）

C 2t (i,j )=max 0≤δ≤dδK 2(δ) （33）

其中K 1(δ)与K 2(δ)分别是：

K 1(δ)=∑H t (i,j ),

l

?δ-H t (i,j ),l -255+δl=0

√∑H S t (i,j ),l ?δ-2255+δl=0√∑H L t (i,j ),l-2255+δl=0（34）

K2(δ)=

∑H t(i,j),l?δ-H t(i,j),l-

255+δ

l=0

√∑H S t(i,j),l?δ-2

255

l=δ

√∑H L t(i,j),l-2

255

l=δ

（35）

C t(i,j)只是两个直方图之间关联度的衡量指标，具体进行背景更新及前后景判别还需要一些技术上的处理(Figure11)，这里不详细介绍。

Figure11 直方图方法详细流程

4.4 Covariance Matrices

针对移动目标检测的各种像素级、区域级特征不断被提出，它们各有各的优缺点。如何能够设计一种特征将这些特征统一地结合在一起，从而充分利用各自的优势显得非常有意义。

一种简单的思路是用几种特征组成特征向量，并利用该向量作为各个像素的特征[8][9]：

f k=[x,y,I(x,y),LBP(x,y),|I x(x,y)|,|I y(x,y)|]，（36）其中各元素依次为：两个空间坐标，Local Binary Pattern, 两个方向的梯度；将M X N的区域用该向量的协方差矩阵表示：

C R=

1

MN

∑(f k?μR)(f k?μR)T

MN

k=1

，（37）

采用协方差矩阵作为区域的描述子具有很多方面的优势：首先个别样本的噪声在平均的处理中被过滤掉；另外协方差矩阵对于整体均值的偏移不敏感，这在亮度变化的环境下十分重要；而且协方差矩阵使得各种特征之间的相互关系非常明确，从而能够帮助用户选择最有效的特征；最后，协方差矩阵可以通过Integral Image Representation9进行非常快速的计算。

为了能够再次利用GMM模型中背景更新及前景检测的方法，需要定义两个协方差矩阵之间差异的衡量指标：

ρ(A,B)=√∑ln2λi(A,B)

d

i=1

，（38）

其中*λi(A,B)+i=1,…,d为两个协方差矩阵之间的广义特征值10（Generalized Eigenvalues）。接下来的背景更新与前景检测与GMM模型相同，不再重复。

5 讨论及总结

基于视频的移动目标检测是一个十分重要且有挑战性的课题。其成功的关键是选取有效可行的特征对像素或区域进行描述。一般采用的特征有：灰度值（或颜色值），纹理（LBP，Co-Occurrence矩阵等），直方图；另外还可以将数个特征结合在一起使用（Covariance矩阵）。在选择了合适的特征之后，如何进行背景建模及前景检测也对实际结果有很大的影响。目前普遍采用的往往是最简单的均值-阈限方法或者GMM模型。

本报告并没有覆盖移动目标检测的所有方法，而注重处理一类较常见的应用环境（见第二节）。另外本报告介绍的方法大都属于“背景差分”类型，实际上

9O. Tuzel, F. Porikli, and P. Meer. Region, “Covariance: A Fast Descriptor for Detection and C lassification”, Proc. European Conf. Computer Vision, pages 589–600, 2006.

10W. Forstner and B. Moonen, “A Metric for Covariance M atrices”, Technical report, Dept. of Geodesy and Geoinformatic, Stuttgart University, 1999.

还有很多别的方法可用于视频中移动目标的检测，而这也就在基于像素以及基于区域的分类体系之外。例如利用“特征图”的方法[10]采用了PCA算法构建整个画面的背景模型，也能够在实际运用中达到良好的效果。

基于视频的移动目标有多种多样的应用环境，不同的应用环境有不同的需求与难点，往往需要采用迥然不同的方法。充分了解已有的各种方法及它们各自的优劣，有利于设计者为具体的应用环境设计出切实可行且高效的方法。

参考文献

[1] C. Stauffer and W. E. L. Grimson, "Learning Patterns of Activity Using Real-Time Tracking",

IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 22, no. 8, August 2000.

[2] A. Elgammal, D. Harwood, and L. Davis, “Non-Parametric Model for Background Subtraction”,

Proc. European Conf. Computer Vision, vol. 2, pp. 751-767, June 2000.

[3]T. Hoprasert, D. Harwood, and L. S. Davis, "A Statistical Approach for Real-Time Robust

Background Subtraction and Shadow Detection," Proc. the 7th IEEE International Conf.

Computer Vision, Frame Rate Workshop, pp. 1-19, September 1999.

[4]N. Friedman, and S. Russell, "Image Segmentation in Video Sequences: A Probabilistic

Approach", the Thirteenth Conference on Uncertainty in Artificial Intelligence, 1997.

[5] M. Heikkil? and M. Pietik?inen, "A Texture-Based Method for Modeling the Background and

Detecting Moving Objects", IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 28, no.

4, April 2006.

[6] D. Luo, "Texture Analysis for Shadow Removing and Tracking of Vehicle in Traffic Monitoring

System", Proc. International Symposium on Intelligent Information Technology Application Workshops, pp. 863-866, 2008.

[7]K. Onoguchi, “Moving Objec t Detection Using a Cross Correlation between a Short

Accumulated Histogram and a Long Accumulated Histogram”, Proc. IEEE 18th International Conf. Pattern Recognition, vol. 4, pp. 896-899, August 2006.

[8]S. Zhang, H. Yao, S. Liu, X. Chen, and W. Gao, "A Covariance-based Method for Dynamic

Background Subtraction", IEEE International Conf. Pattern Recognition, 2008.

[9]O. Tuzel, F. Porikli, and P. Meer, "Region Covariance: A Fast Descriptor for Detection and

Classification", Proc. 9th European Conf. Computer Vision, vol. 2, pp. 589–600, 2006.

[10]N. M. Oliver, B. Rosario, and A. P. Pentland, "A Bayesian Computer Vision System for

Modeling Human Interactions", IEEE Trans. Pattern Analysis and Machine Intelligence, vol.

22, no. 8, August 2000.