基于帧差与非相邻帧差的自适应镜头检测方法

基于帧差与非相邻帧差的自适应镜头检测方法
基于帧差与非相邻帧差的自适应镜头检测方法

1引言

随着网络与计算机技术的迅速发展,单调的文本信息已不再满足人们的需要,多媒体内容日益进入人们的生活,数字视频得到了越来越多的应用。于是,相关的视频处理的研究也越来越多。镜头分割是视频处理的第一步,是随后的高层内容分析、分类、索引和查询的基础。镜头分割的准确性将直接影响到后续处理的效果。因此,研究镜头的边界检测具有重要的现实意义。

镜头边界的变换方式主要有突变(Abruptchange)和渐变(Gradualchange)两种形式,针对突变和渐变的特点,国内外许多研究者提出了不同的镜头边界检测算法。全局单一阈值法[1]、二次差分法[2]、滑动窗口法、二次帧差法[3]等对突变镜头取得了较好的效果,但对渐变镜头的检测效果不理想。为了提高渐变镜头的检测效果,文献[4]中提出一种数字视频特技镜头检测算法,文献[5,6]中提出利用视频编辑模型检测淡入淡出和叠化等渐变效果。这些方法只对某些特殊类型的渐变效果有效。为了提高突变镜头和渐变镜头的综合检测效果,文献[7]中提出了一种双重阈值法,将突变和渐变融合到一种方法中来实现,很难做到对两种类型的镜头边界都有很好的检测效果。针对以上方案的不足,实现了一种基于帧差和非相邻帧差的自适应镜头检测方法。

2检测方法

2.1方法流程

基于帧差与非相邻帧差的自适应镜头检测方法的流程如图1。

2.2特征的选取

镜头转化边界的存在反映了视频流在时间上的不连续性,因此选取的特征应能更好的表达这种不连续性。目前用于镜头边界检测的特征主要有:直方图特征值、边缘(轮廓)特征值、运动特征值等。边缘特征值一般先从图像中计算物体的边缘,分析边缘的变化量来判断镜头转换。常用的边缘计算方法有Roberts算子、高斯拉普拉斯(Laplacian)算子、Prewitt算子、

基于帧差与非相邻帧差的自适应镜头检测方法

刘俊晓,孟祥增,刘旭花,吴鹏飞

LIUJun-xiao,MENGXiang-zeng,LIUXu-hua,WUPeng-fei

山东师范大学传播学院,济南250014

SchoolofCommunications,ShangdongNormalUniversity,Jinan250014,China

E-mail:liujx81@sohu.com

LIUJun-xiao,MENGXiang-zeng,LIUXu-hua,etal.Self-adaptivemethodofshotdetectionbasedonneighborframedifferenceandnon-neighborframedifference.ComputerEngineeringandApplications,2007,43(24):212-215.

Abstract:Accordingtothecharactersofabruptchangeandgradualchange,aself-adaptivemethodofshotdetectionbasedonneighborframedifferenceandnon-neighborframedifferenceisrealizedinthispaper.Bycomputingneighborframedifference,thismethodcaneffectivelydetectabruputchange.Bycomputingnon-neighborframedifference,gradualchangescanbeeffectivelyde-tected.Integratingthetwomethods,itcanalmostdetectallshotboundariesnomatterwhattheshotchangetypeis.Thismethoddoesnotneedtosetglobalthresholdandhashighadaptabilitywithlowcomputationcost.Experimentalresultsshowitisadaptiveandefficient.

Keywords:neighborframedifference;non-neighborframedifference;self-adaptive;shotdetection

摘要:针对突变和渐变的特点,实现了一种基于帧差和非相邻帧差的自适应镜头检测方法。方法通过计算相邻帧差有效地检测突变镜头,通过计算非相邻帧差实现对渐变镜头的有效检测,二者结合可检测出几乎所有的突变和渐变镜头,获得了良好的综合检测效果。该方法不用设全局阈值,适应性强且计算量小,实验结果表明了方法的通用性和有效性。

关键词:相邻帧差;非相邻帧差;自适应;镜头检测

文章编号:1002-8331(2007)24-0212-04文献标识码:A中图分类号:TP391.4

基金项目:山东师范大学学位论文创新项目(No.y2005G21)。

作者简介:刘俊晓(1981-),女,硕士生,研究方向为模式识别、基于内容的视频分析与检索;孟祥增(1962-),男,博士,教授,硕士研究生导师,主要研究方向为多媒体检索、图像识别、视频分析等。

Robinson算子、Kirsch算子、Sobel算子以及Canny算子等,文献[4,7]提出的边缘改变率的概念就是利用这种特性进行镜头

的突变检测,但由于这种算法计算量巨大,一般不用于突变镜头的检测,只用于非实时的渐变镜头的检测。运动特征值计算方法有基于象素的亮度绝对帧差法、基于光流的方法、基于运动矢量或块匹配后的残差等方法,但这些基于运动特征值的方法的检测效果并不优于直方图方法。

基于以上各种特征值选择方法的特点,同时考虑到边界检测的准确性和检测效率,这里选用HSV直方图特征值来检测镜头边界,因为HSV模型是一种符合人类视觉感知特性的颜色模型,基于HSV颜色空间的测度能够更好的逼近人眼的感觉。确定采用HSV空间模型后,为了压缩直方图矢量的维数,减少计算量,对HSV颜色空间进行了非等间隔量化[8]

。通过对颜色模型进行分析,把色调H空间分为8份,饱和度S和亮度

V空间分别分为3份,并根据色彩的不同范围进行量化,共得

到72种最常用颜色等级。

量化后的色调,饱和度和亮度值分别为H、S和V[6]。

由于直方图特征值不能记录象素点位置信息,难以反映视频图像的空间信息,文[3,6]提出了分区直方图的概念,将整个视频帧平均分为N×N大小的子块,分别计算每个子块的直方图特征,然后再计算帧差。将视频帧平均分块考虑了象素的位置信息,但没有考虑到每一块的重要性,虽然文[9]的方案考虑到不同分块的重要性,但其方法是类似高斯加权的方法,如图2

(a)所示。实验表明,这种加权方法对镜头分割效果并不很好。在许多视频节目中,图像的上面或下面经常会出现广告内容,标题,或字幕等,另外由于镜头的晃动会使镜头内的四周发生内容的变化,而此时并未出现镜头切换,如果用平均分块或简单的高斯加权方式,会造成镜头边界的误检。为了解决平均分块的不足,我们采用文[3]中改进的分块方案——

—黄金分块策略,该分块方案为:将图像的长宽分别按照3:5:3的比例进行分割,而不是按1:1:1的比例进行分割,如图2(b)所示。这种分块方案较好地体现了视频中主要内容的变化。为了解决屏幕上下部分出现的广告内容或字幕的干扰,修改了简单的加权方式,为了便于对照,将修改后的加权方式与简单的加权方式对照画在一起,如图2(b)中的数字所示。实验证明该分块及加权方案取得了较好的检测效果。

2.3帧差与非相邻帧差的计算

在将每帧图像采用黄金分块原则不均匀分割为3*3的子

块后,分别统计每个子块的HSV直方图,计算对应区间的直方图差异,并对不同的区间设置不同的加权系数,以加权后的平均距离作为两帧图像之间的差值。这样计算的帧间差值,更好地体现了不同镜头的帧图像间的差别。

(1)相邻帧之间的帧差可以用对应分块之间的直方图距离的加权和表示。每个分区之间的距离为

(Hi,Hj)=n

l=0

!|hi(l)-hj(l)|(1)

式中l表示颜色的量化级数,本文中为72。设加权矩阵为

W=w1w2w3

w4

w5w6w7

w8

w9

"

########$

%&&&&&&&&’

=1112

4211"((((((($

%&&&&&&&’

(2)

式中加权值的位置和分割区间的位置相对应,通过分割区间的大小和位置体现各分割区间的重要程度,计算出相邻两帧对应区间的直方图差值,分别记为d1,d2,…,d9。则相邻两帧差值由加权系数和区间直方图差值计算得到:

D=

i=1

!wi

i=1

!w

(3)

(2)非相邻帧差的计算

对于渐变镜头,由于整个变换是一个连续的过程,相邻帧间的特征并没发生大的变化,因此无法通过相邻帧差进行镜头的识别。为了更好地检测渐变,我们提出了一种基于非相邻帧差的镜头边界检测方法,所谓非相邻帧差,就是直接计算当前帧和当前帧后面第N

(N>1)帧的帧差:Dij=|Fi-Fj|其中|j-i|=N(4)

式中,Dij表示第i帧和第j帧的非相邻帧差,|Fi-Fj|表示对应帧之间的特征距离。因为在一个镜头内部,无论是相邻帧还是非相邻帧,镜头内容的变化都不会太大,而当一个渐变发生时,虽然相邻帧之间内容变化不大,但由于当前镜头已经渐变到另一个镜头,镜头之间的内容发生了很大的变化,因此计算的非相邻帧差会很大。通过计算非相邻帧差正好略过了具体的渐变效果,反映了实际镜头内容的变化,能更好地检测出渐变镜头边界。如图3所示为一段同时包含突变镜头和渐变镜头的视频片断的实验结果,上图为帧间距离取为6的非相邻帧差,下图为帧差,可以看出非相邻帧差能有效的突出渐变镜头的特征,如上图中箭头所指的几个位置均是渐变镜头实际发生处,下图中箭头所指的位置是可能的突变镜头发生处。

非相邻帧差具体计算方法与相邻帧差计算方法相同,可参考上述公式(1)、(2)、(3)。

2.4镜头边界检测

通常情况下,一个镜头内部的各个图像帧之间的差异不会

表1不同视频片断的镜头检测结果视频类别

名称电影片断风景片断教学片断足球片断总帧数

10255

15253

31253

23388

镜头数/突变

数/渐变数

198/198/0

252/0/252

165/130/35

143/119/24

正确检

出数

193

231

160

141

误检

15

23

21

漏检

21

查准

率/%

98.46

93.90

87.43

86.95

查全

率/%

97.47

91.66

96.96

98.60

太大,帧间差值相对稳定在某一个范围之内,即围绕某个均值上下波动,而当发生镜头转换时,这种稳定性将被打破。据此,自适应法在进行镜头切换识别时,只利用当前帧之前有限长度内的帧间差值信息,这个长度通常是前一镜头结束后的第1帧至当前帧的前1帧,可以认为这是一个可变长度的滑动窗口,计算这一窗口内的帧间差值的平均值,如果当前帧间差值与这一平均值之间相差达到某一系数,就认为当前帧是下一个镜头的起始帧。该方法采用局部阈值法,较好地解决了全局阈值的选取问题。

(1)基于相邻帧差的自适应突变镜头检测

镜头突变主要发生在相邻两帧之间,基于上述方法计算相邻帧差,采用自适应法检测突变镜头。算法中的主要符号规定如下:

α为一预先设定的镜头边界检测阈值系数,统计结果表明α一般取5 ̄6为宜[1];

Di为视频流相邻两帧的帧差;

Mean为窗口内帧间差值的平均值;

SUM为相邻帧差累积和;

Count为帧差累积次数。

在某些特殊情况下,会出现镜头静止或几乎静止的现象,此时帧间差值极小,如果将此极小差值记入窗口内帧间差值平均值的计算中,则会显著降低这一平均值。一个极端的情况是,当镜头内静止(或几乎静止)的帧数较多时,则窗口内帧间差值平均值趋向于零。此时在应用上述方法进行判决时会出现镜头错判现象。为避免这种现象,对上述判决方法进行改进。设定一个极小的阈值,在算法中取作10-4。在判决之前将Di与进行比较,若Di≤Value,则不进行镜头切换识别。

综上所述,算法流程描述如下:

①算法启动。读入视频流的相邻两帧图像,从第一帧和第二帧开始。如果读至最后一帧,则结束。

②分别把相邻两帧图像按文[3]中所述方法转换成HSV模型并量化为72个颜色空间。

③计算分区直方图及相邻两帧对应分区直方图的差值BlkDiff,按上述公式(2)、(3)计算相邻两帧直方图的差值Di。

④判断Di是否小于极小阈值,如果小于,则不进行镜头切换识别。

⑤定义Flag=0表示新镜头开始。如果新镜头开始,Sum=Di,Count=Count+1,Mean=Di,Flag=1。转至①。

⑥判断当前是否大于α倍。如果大于,则判断为一个新的镜头边界,=0,=0,=0。转至①。

⑦若当前Di小于α倍Mean,Sum=Sum+Di,Count++,Mean=Sum/Count。转至①。

(2)基于非相邻帧差的自适应渐变镜头检测

为了实现渐变检测,采用基于非相邻帧差的自适应检测算法,算法中的主要符号规定如下:

α为一预先设定的镜头边界检测阈值系数;

Dij为视频流非相邻两帧的帧差(经过实验发现,对本算法非相邻帧间距离取为6比较合适);

Mn为非相邻帧差的局部累计平均值;

Mx为窗口内非相邻帧差的最大值;

Mean为窗口内帧间差值的平均值;

Sum为相邻帧差累计和;

Count为帧差累计次数。

其算法流程描述如下:

①算法启动。设置一滑动窗口,窗口范围设置为三个非相邻帧差。这样一个窗口的宽度为18帧,一般不会错过渐变镜头边界。设置渐变镜头边界检测门限系数α=3。

②计算新镜头第一个窗口内非相邻帧差的平均值Mn。

③向后滑动一个窗口,计算当前窗口内的Mx,若Mx<αMn,重新计算包括当前窗口和前面新镜头开始后所有窗口的Mn,向后滑动一个窗口。

④如果Mx>αMn,并且Mx位于窗口前半部分,则此Mx处为渐变位置,将下一窗口设为新的镜头边界。转至②。

⑤否则记录当前窗口内Mx的位置,计算下一窗口内的Mx,如果此Mx大于前面窗口的Mx,则此Mx处为渐变位置,标记此位置,将下一窗口设为新的镜头边界,转至②。否则前一窗口内Mx处为渐变位置,标记此位置,当前窗口内后半部分作为下一镜头的内容,计算非相邻帧差的平均值Mn。转至③。

第④步的目的是考虑窗口前一部分正好滑过渐变镜头边界的情况,而第⑤步是考虑前一窗口后半部分刚好滑过一个较长渐变镜头边界的初始部分的情况。

2.5综合判决方案

基于相邻帧差的自适应法能够很好地检测突变镜头,而基于非相邻帧差的自适应法能很好地检测渐变镜头,二者结合将能很好地检测各类突变和渐变镜头。为此,设计如下决策规则:Sc={C1,C2,…,CN}

Sg={G1,G2,…,GM}

S=

CiCi∈Gj(j=1,2,…,M)

Sc∪Sg其

$

(5)式中:Sc为突变镜头集;Sg为渐变镜头集;S为总镜头集;N和M分别代表检测到的突变和渐变镜头总数。

3实验结果

实验数据中,电影片断、风景片断、教学片断均取自:http://www.open-video.org/,足球片断为2006德国世界杯比赛录像剪辑。视频格式为MPEG-1,图像大小为352*288,每秒25帧。实验环境为P4-2.4GHzCPU+512M内存的PC机和Windows2000Professional操作系统。视频分割的结果位置与人工标记的精确位置进行对比以检验结果的准确性。对渐变镜头的评价标准,由于渐变镜头转换处持续帧数较多,认为误差在5帧以内都是允许的。

用查准率和查全率两个指标来评估镜头转换边界的检测结果:

查准率=正确检出数/(正确检出数+误检数)

查全率=正确检出数/(正确检出数+漏检数)

实验结果如表1。

实验结果表明,本文方法对全为突变镜头的电影序列和全为渐变镜头的风景片断,均达到了较高的查准率和查全率。对

间,并对两种方法的模拟结果进行了比较。结果显示:基于颜色时延Petri网及Lookahead的数据分发管理机制是优于区域匹配方法的。

(收稿日期:2007年4月)参考文献:

[1]JensenK.Colouredpetrinets[M].BerlinHeidelberg:Springer-Ver-

lag,1996.

[2]徐誉尹,吴哲辉.基于颜色Petri网的TCP协议模拟和分析[J].系统

仿真学报,2005,17:62-65.

[3]Petri网理论与系统模拟[M].吴哲辉,译.徐州:中国矿业大学出版

社,1989.[4]HyettM,WuerfelR.Implementationofthedatadistributionman-

agementservicesintheRTI-NG[C]//SimulationInteroperabilityWork-shop,March2002.

[5]BachinskyS,NoseworthyR,HodumF.Implementationofthenext

generationRTI[C]//SimulationInteroperabilityWorkshop,March1999.[6]张亚崇,孙国基,严海蓉,等.分布式交互仿真中一种新的数据分发

管理算法的研究[J].系统仿真学报,2005,17(1):91-95.

[7]PettyM.GeometricandalgorithmicresultsregardingHLAdata

distributionmanagementmatching[C]//SimulationInteroperabilityWorkshop,September2000.

[8]JensenK.Colouredpetrinets:ahigh-levellanguageforsystemde-

signandanalysis[M].Berlin:SpringerVerlag,1987.

[9]方贤文,吴哲辉,刘士喜.时延petri网分布式模拟的先行值研究[J].

计算机科学,2006,33(4):240-243.

(上接99页)

6结束语

本文利用ON/OFF模型产生自相似流量,提出了一种基于

排队延迟的自相似网络可靠性分析模型。将节点和到达信息流视为G/M/1/B排队模型,利用大偏差理论得到节点平均排队延迟时间,进而得到网络各种工作状态下全网平均排队延迟时间,利用延迟阀值得到各种工作状态下的网络可靠性,进一步得到全网可靠性。

在此基础上,分析了网络可靠性、

节点缓存大小、自相似程度和ON/OFF源数量之间的关系。例如对双工环型网络可靠性分析结果表明:随着缓存增大,各种自相似程度下的网络可靠性变化程度下降,且在缓存很大时,自相似程度越高网络可靠性越小;另外,随着缓存增大,ON/OFF源流量数量越大,网络可靠性由平稳逐渐下降并最后趋于平稳。(收稿日期:2007年1月)

参考文献:

[1]熊蔚明,刘有恒.一种评价通信网可靠性的新方法[J].北京大学学

报:自然科学版,1992,28(1).

[2]LelandWE,TaqquMS,WillingerW,etal.Ontheself-similar

natureofethernettraffic[C]//ProcACM/SIGCOMM,1993:183-193.

[3]LesterLipsky,PierreFiorini.Analyticmodelsoftrafficintelecom-

municationsystems,basedonmultipleon-offsourceswithself-similarbehaviorIIn-burstmodelsandtheirperformance[C]//Procof16thIntlTeletrafficCongress,ITC-16,Edinburgh,UK,June1999.[4]李景聪.自相似业务量下网络的排队性能分析[J].北京大学学报:自

然科学版,2002,38(5).

[5]BarberisG,MazzeiU.Traffic-basedcriteriaforreliabilityand

availabilityanalysisofcomputernetworks[C]//ProcIEEEICC’77,Chicago,IL,1977:133-138.

[6]ParkYJ,TanakaS.Reliabilityevaluationofanetworkwithdelay

[J].IEEETransonReliability,1979,228(4).[7]TaqquMS,WillingerW,RobertS.Proofofafundamentalresultin

self-similartrafficmodeling[J].ACMComputerCommunicationRe-view,1997,27

(2):5-23.[8]NorrosI.OntheuseoffractionalBrownianmotioninthetheoryof

connectionlessnetworks[J].IEEE/ACMTransactionsonNetworking,1999,5

(6):835-846.[9]李庆扬.现代数值分析[M].北京:高等教育出版社,1995.

[10]StallingsW.High-speednetworks-TCP/IPandATMDesignPrin-

ciples[M].[S.l.]:Prentice-Hall,1998.

[11]林啸.IP网性能分析与考评指标[J].邮电规划,2004.

[12]饶云华.自相似网络通信量及高速路由结构性能研究[D].华中科技

大学,2004.

(上接137页)同时包含突变镜头和渐变镜头的教学片断和足球片断,达到了极高的查全率,但由于同时使用相邻帧差和非相邻帧差两种策略,累计误检镜头数偏多,查准率偏低。

误检镜头多来自于镜头的大幅度晃动和镜头内光照的剧烈变化,漏检多来自于渐变前后两个镜头的颜色差别极其微小的情况。

4结论

针对突变和渐变的特点,本文方法通过计算相邻帧差用自

适应法取得对突变镜头很好的检测效果;通过计算非相邻帧差用自适应法取得对渐变镜头较好的检测效果,二者结合取得了对突变镜头和渐变镜头很好的综合检测效果。但由于视频本身的复杂性,该方法还不能达到对所有的视频都有最好的检测效果,为了提高检测效果,可以加入其它的特征比如运动特征、边缘变化特征以及亮度变化特征等以增强系统的检测性能。另外,与采用RGB直方图特征相比,本文方法采用HSV分区直

方图,检测性能虽然得到提高,但检测效率明显下降,这也是下一步工作需要解决的问题。

(收稿日期:2006年12月)参考文献:

[1]NagasakaA,TanakaY.Automaticvideoindexingandfull-motion

searchforobjectappearance[C]//SecondWorkingConferenceon

VisualDatabaseSystem.NorthHolland:KluwerAcademicPub-lishers,1991:113-127.

[2]

刘谦雷,杨绿溪,邹采荣.用于视频镜头突变切换检测的二次差分法和像素点匹配二次差分法[J].中国图像图形学报,2003,8(2):161-168.

[3]周艺华,曹元大,张洪欣.一种基于二次帧差的突变镜头检测方法

[J].计算机工程与应用,2005,41

(6):22-25.[4]

ZabinR,MillerJ,MaiK.Afeature-basedalgorithmfordetectingandclassifyingscenebreaks[C]//ACMMultimedia95,1995-11:189-200.

[5]

ZhongYu,KaruK,JainAK.Locatingtextincomplexcolorimages[J].IEEEDocumentAnalysisandRecognition,1995:1:146-149.[6]庄越挺,潘云鹤,吴飞.网上多媒体信分析与检索[M].北京:清华大学出版社,2002-09.

[7]ZhangHJ,SmoliarSW.DevelopingpowertoolsIorvideoindexingandretrieval[C]//SPIEConfonStorageandRetrievalforImageandVideoDatabases,SanJoses,CA,1994:140-149.

[8]彭波,李弼程.一种因果的突变镜头检测方法[J].计算机工程与应

用,2004,40

(5):91-93.[9]

ZhongYu,KaruK,JainAK.Locatingtextincomplexcolorimages[J].IEEEDocumentAnalysisandRecognition,1995:1:146-149.

视频处理算法

视频处理算法1.背景提取的算法 1.1原理框图 图1.背景提取原理图

1.2背景提取与更新算法 1.2.1手动背景法 手动背景法需要人观察到没有前景物体时启动该帧图像,作为背景图像。 这种背景提取方法增加了人力和物力的需求,而且在很多情况下很难在没有前景的情况下获得背景图像,比如高速公路的车辆监测系统、小区的门禁系统等等。这种方法不能实现自适应背景更新的功能,需要使用其他方法修正由于光线,亮度等的变化带来的背景误差。 1.2.2Surendra 算法 Surendra算法能够自适应地获取背景图像。该算法提取背景的思想是通过当前帧帧差图像找到物体的运动区域,对运动区域内的背景保持不变,而非运动区域的背景用当前帧进行替换更新,这样经过一段时间就可以提取出背景图像。 在仿真研究中发现,maxSteps很大程度地决定了背景建立时的速度,α则决定背景更新的速度。这种背景建模和更新的方法,能够很好地解决物体长时间停留对背景的影响,因为背景的更新会将它逐步地作为背景像素点更新到背景中。但是由于它的基本处理方式是帧间差分,使得它不能将色彩、亮度相似的,大面积的运动物体完整的检测出来。这种情况下,运动物体的某些部分将作为背景区域更新到背景中。 1.3动目标检测算法 1.3.1帧间差分运动检测 基于帧间差分的运动检测即帧差法,它根据相邻帧或隔帧图像间亮度变化的大 小来检测运动目标。这种算法虽然能实现实时处理且对光线变化不敏感,不过其分割出的运动目标容易出现拉伸、空洞的现象;而且当前景运动很慢且时间间隔选择不合适时,

容易出现根本检测不到物体的情况。 图2.帧间差分运动检测 1.3.2背景差分运动检测 背景差分算法的实质是:实时输入的场景图像与背景图像进行差分,可以较准确的分割出运动目标。但是背景差分算法也有其天然的缺陷,随着时间的推移,场景的光线、树叶的遮挡、或者运动物体滞留都会很大程度的破坏已经建立好的背景图像。为了解决这些问题,最好的方法便是使用背景建模和背景更新算法来弥补。 实验结果表明:背景差分算法也可以有效地检测出运动目标。由于背景建模算法的引入,使得背景对噪声有一定的抑制作用,在差分图像中“雪花”。较帧间差分算法有所减少。同时,使用背景差分算法检测出的运动物体轮廓,比帧间差分法的检测结果更清晰。因此,在背景建模与背景更新处于比较理想的状态下,背景差分算法得到的差分结果略好于帧间差分的结果。

三帧差分法

三帧差分法的问题 大家帮忙看看这个三帧差分法的代码哪里出了问题?参照论坛上的相邻帧差法,改造成三帧差分法。 clc; clear; targetavi='SampleVideo.avi'; %%原始视频 resultavi='result.avi'; %%检测结果视频%%%%%%%%%%%%%%%%%%%%%%读取视频 mov=aviread(targetavi); %mov=mmreader(targetavi); fnum=size(mov,2); %%%%%%%%%%%%%%%%%%%%%%建立结果视频 aviobj = avifile(resultavi); aviobj.Quality = 100; aviobj.Fps = 15; %https://www.360docs.net/doc/a814110330.html,pression='Indeo5'; https://www.360docs.net/doc/a814110330.html,pression='None'; %%%%%%%%%%%%%%%%%%%%%%帧间差分法 for i=2:fnum x=mov(i-1).cdata(:,:,:); y=mov(i).cdata(:,:,:); z=mov(i+1).cdata(:,:,:); m=rgb2gray(x); m=medfilt2(m); n=rgb2gray(y); n=medfilt2(n); o=rgb2gray(z); o=medfilt2(o); q=im2double(n); w=im2double(m); p=im2double(o); c=q-w;%%前两帧差分 b=p-q;%%后两帧差分 t=40; %%阈值,此值可以调节 t=t/256;%%转化为double型数据 k=find(abs(c)>=t);%%find函数作用是找到图c中的值大于t的点坐标

运动目标检测方法总结报告

摘要 由于计算机技术的迅猛发展,使得基于内容的视频信息的存取、操作和检索不仅成为一种可能,更成为一种需要。同时,基于内容的视频编码标准MPEG-4和基于内容的视频描述标准MPEG-7正在发展和完善。因此提取和视频中具有语义的运动目标是一个急需解决的问题。运动目标提取和检测作为视频和图像处理领域的重要研究领域,有很强的研究和应用价值。运动检测就是将运动目标从含有背景的图像中分离出来,如果仅仅依靠一种检测算法,难以从复杂的自然图像序列中完整地检测出运动的目标。较高的检测精度和效率十分重要,因此融合多种检测方法的研究越来越受到重视。本文介绍了几种国内外文献中的经典的视频运动目标的检测和提取算法,并对各种方法进行了评价和总结。首先介绍了基本的运动目标检测的基本知识和理论,然后介绍了基本的几种目标检测方法及其各种改进方法。对今后的运动目标检测提取的相关研究提供一定的参考。 关键词:运动目标检测光流法帧差法背景建模方法

ABSTRACT Because of the rapid development of computer technology, it is possible to access, operate and retrieve the video information based on the content of the video. At the same time, based on the content of the video coding standard MPEG-4 and content-based video description standard MPEG-7 is developing and improving. Therefore, it is an urgent problem to be solved in the extraction and video. Moving object extraction and detection is a very important field of video and image processing, and has a strong research and application value. Motion detection is to separate moving objects from the image containing background, if only rely on a detection algorithm, it is difficult to from a complex natural image sequences to detect moving target. Higher detection accuracy and efficiency are very important, so the study of the fusion of multiple detection methods is becoming more and more important. In this paper, the detection and extraction algorithms of the classical video moving objects in the domestic and foreign literatures are introduced, and the methods are evaluated and summarized. Firstly, the basic knowledge and theory of basic moving target detection is introduced, and then the basic method of target detection is introduced. To provide a reference for the research on the extraction of moving target detection in the future. Keywords: Visual tracking Optical flow method Frame Difference Background modeling method

运动目标检测光流法

摘要 运动目标检测方法是研究如何完成对视频图像序列中感兴趣的运动目标区域的“准确定位”问题。光流场指图像灰度模式的表面运动,它可以反映视频相邻帧之间的运动信息,因而可以用于运动目标的检测。MATLAB这种语言可移植性好、可扩展性强,再加上其中有丰富的图像处理函数,所以利用MATLAB 软件来用光流法对运动目标的检测中具有很大的优势。本设计主要可以借助matlab软件编写程序,运用Horn-Schunck算法对图像前后两帧进行处理,画出图像的光流场。而图像的光流场每个像素都有一个运动矢量,因此可以反映相邻帧之间的运动,分析图像的光流场就可以得出图像中的运动目标的运动情况。 关键字:光流法;Horn-Schunck算法;matlab

目录 1光流法的设计目的 (1) 2光流法的原理 (1) 2.1光流法的介绍 (1) 2.1.1光流与光流场的概念 (1) 2.1光流法检测运动目标的原理 (2) 2.1.1光流场计算的基本原理 (2) 2.2.2基于梯度的光流场算法 (2) 2.2.3Horn-Schunck算法 (3) 2.2.4光流法检测运动目标物体的基本原理概述 (5) 3光流法的程序具体实现 (6) 3.1源代码 (6) 3.1.1求解光流场函数 (6) 3.1.2求导函数 (9) 3.1.3高斯滤波函数 (9) 3.1.4平滑性约束条件函数 (10) 3.1.5画图函数 (10) 4仿真图及分析 (12) 结论 (13) 参考文献 (14)

1 光流法的设计目的 数字图像处理,就是用数字计算机及其他有关数字技术,对图像进行处理,以达到预期的目的。随着计算机的发展,图像处理技术在许多领域得到了广泛应用,数字图像处理已成为电子信息、通信、计算机、自动化、信号处理等专业的重要课程。 数字图像处理课程设计是在学习完数字图像处理的相关理论后,进行的综合性训练课程,其目的是:使学生进一步巩固数字图像处理的基本概念、理论、分析方法和实现方法;增强学生应用Matlab编写数字图像处理的应用程序及分析、解决实际问题的能力;尝试所学的内容解决实际工程问题,培养学生的工程实践能力。 运动目标检测是数字图像处理技术的一个主要部分,近些年来,随着多媒体技术的迅猛发展和计算机性能的不断提高,动态图像处理技术日益受到人们的青睞,并且取得了丰硕的成果,广泛应用于交通管理、军事目标跟踪、生物医学等领域。 因此,基于光流法,实现运动目标的检测是本文的研究对象。结合图书馆书籍、网上资料以及现有期刊杂志,初步建立起运动目标检测的整体思路和方法。 2 光流法的原理 2.1 光流法的介绍 2.1.1 光流与光流场的概念 光流是指空间运动物体在观测成像面上的像素运动的瞬时速度,它利用图像序列像素强度数据的时域变化和相关性来确定各自像素位置的“运动”,即反映图像灰度在时间上的变化与景物中物体结构及其运动的关系。将二维图像平面特定坐标点上的灰度瞬时变化率定义为光流矢量。视觉心理学认为人与被观察物体

帧差法代码讲课稿

% By lyqmath @ Matlab中文论坛 clc; clear all; close all; avi = mmreader('samplevideo.avi'); for i = 1 : avi.NumberOfFrames img = read(avi, i); pixels(:, :, :, i) = img; figure(1); imshow(img, []); text(1, 15, sprintf('原视频:%d帧By lyqmath', i), 'FontWeight', 'Bold', 'Color', 'r'); end tracking(pixels); function d = tracking(video) if ischar(video) % 载入视频数据 for i = 1 : avi.NumberOfFrames img = read(avi, i); pixels(:, :, :, i) = img; end else pixels = video; end nFrames = size(pixels, 4); rows = size(pixels, 1); cols = size(pixels, 2); % 转换成灰度图像 for i = 1 : nFrames pixel(:, :, i) = (rgb2gray(pixels(:,:,:,i))); end for i = 2 : nFrames d(:, :, i) = (abs(pixel(:,:,i) - pixel(:,:,i-1))); bw(:, :, i) = im2bw(d(:, :, i), 0.2); % 寻找上下边界 cou=1; for h = 1:rows for w = 1:cols if bw(h, w, i) > 0.5 bottomEdge = h; if cou == 1 topEdge = bottomEdge; end cou = cou+1; break;

基于背景减法和帧差法的运动目标检测算法研究

分类号:密级 硕士学位论 文 论文题 目:基于背景减法和帧差法的运动目标检测算法研 究 研究方向图像处理 专业名称通信与信息系统 研究生姓名余启明 导师姓名、职称任克强教授 2013年6月5日 江西?赣州

运动目标检测是计算机视觉领域的一个重要课题,在航空航天、视频监控以及智能交通等领域有着广泛的应用前景。研究视频图像序列中运动目标检测算法具有重要的理论价值和实践意义。本文在分析几种常见运动目标检测算法的基础上,着重研究了背景减法和帧差法。本文所做的主要工作如下: (1)分析了运动目标检测的应用背景、研究现状和目标检测中要用到的一些视频图像处理理论。对视频序列中常用的光流法、帧差法和背景减法等运动目标检测算法进行研究,分别介绍了它们的基本原理和一些改进算法。特别是针对背景减法,分析了常见的几种背景减法的建模方法。 ⑵在分析现有背景建模方法的基础之上,发现采用传统混合高斯模型建模进行目标检测时,其学习速率不可根据背景的改变而改变,影响了背景的更新效率,本文提出了一种改进的运动目标检测算法。改进的算法把学习速率分成背景建模初期和背景形成以后这两个阶段,在这两个阶段里均采用自适应的学习速率,使得模型可以更即时地更新,从而能够及时更新背景,消除运动目标的残影,提高检测准确率。实验结果表明,本文算法可以更准确地检测出运动目标,较好地消除阴影,并具有较好的自适应性和稳健性。 ⑶在分析传统帧差法进行目标检测的基础之上,针对运动目标颜色与背景灰度值相似情况下出现检测的目标轮廓不完整的问题,本文进行了改进。先用改进的帧差法进行运动目标检测,再将Canny算子作用于此目标,以提取出边缘信息,最后将目标边缘与原目标取“或”操作。此方法能够较好地解决运动目标和背景颜色差别较小时,检测的运动目标轮廓不完整的问题,从而得到更加准确的运动目标。实验结果表明,本文提出的改进的基于边缘检测与帧差法的运动目标检测算法可用于比较复杂的环境,对目标色彩的局限性小,具有较好的实用性。 关键词:目标检测;背景减法;混合高斯模型;边缘检测;帧差法 Abstract The detection of moving targets is an important topic in the field of computer vision, and has a wide range of applications in the aerospace, video surveillance, intelligent transportation and other fields. Studying moving target detection algorithm of video image sequence has important theoretical value and practical significance. This paper focuses on the analysis of several common moving target detection algorithms which based on background subtraction and frame difference. The main work of this paper is as follows: (1)Analyzed the background of moving object detection, the current situation and video image processing theory of target detection. Studied three moving target detection algorithms, which are optical flow method, the frame difference method and background subtraction. The principles of these algorithms and improved algorithms are analyzed. At last, this paper studied the modeling methods of the background subtraction. (2)The fixed learning rate is adopted by traditional Gaussian mixture model, in other words,

基于帧间差分图像处理技术在电梯门系统应用

基于帧间差分图像处理技术在电梯门系统应用 摘要:电梯门系统作为电梯中的门户,其更好的安全性,智能性一直是研究人员追求的。本文采用ARM 处理器,运用图像处理技术对动态目标进行检测,跟踪和简单的预测,从而实时得检测需要使用电梯的人的情况,快速响应。实验结果证明,所设计的系统能实时性,适应性都基本满足要求,具有较大的实用价值。 关键词:电梯门;帧间差分;图像处理 中图分类号:TP273.5 Application of elevator door system based on inter-frame difference image processing technology XING Hai-xiao, ZHAO Guo-jun,Wangfei ,ZENG Guo-wei, LU Xin-sen (College of Mechanical Engineering, Zhejiang University of Technology, Hangzhou 310014, China) Abstract:As a gateway to elevator, door system’s security, inte lligence has always been pursued by researchers. In this paper, the use of ARM processors and the image processing technology for dynamic target detection, tracking and predicting easily, so get real-time detection of people who need to use the elevator, then rapid response. Experimental results show that this system real-time performance, adaptability to meet all basic requirements, greater application value. Keywords: elevator door; Inter-frame Difference; image processing 0. 引言 随着现代化城市的高速发展,高层建筑的日益增多,电梯需求量越来越大,同时,人们对电梯的要求也越来越高。作为进出电梯轿厢安全保证,门保护装置一直是用户最关心的产品之一,也是衡量电梯质量的一个重要指标。目前,电梯门保护装置主要分2大类:机械门保护,光电门保护。 1. 本课题研究的主要内容 随着图像识别技术的日新月异,提出了基于ARM的嵌入式图像识别智能电梯门安全保护系统。通过硬件的设计和运用,以及算法的研究,开发出一套智能的通过图像识别的电梯门安全保护系统(以下简称系统)。主要实现两大功能:(1)在电梯门即将关闭时有人在一定角度走向电梯门时,本系统能通过这个人的运动轨迹识别其是要乘电梯还是仅仅路过,从而控制电梯门的开启或关闭,达到“闻香识客”功能。(2)在电梯门关闭时,通过拍摄电梯轿厢门间的图像,判断门间是否有物体,当有物体挡住时,则电梯门开启;反之,则关闭。 2. 系统的组成 本系统总体设计思路是用CMOS摄像头采集转换视频信号,用ARM作主控芯片进行采集图像的缓存控制,并用动态检测算法对图像进行判别,识别有无运动目标出现,并进行轨迹分析。 主要以S3C2440为核心构建主板的硬件系统和软件。硬件系统包括基于CMOS摄像头OV9650的图像采集模块,存储模块,图像处理模块,通信模块,电源模块等子模块。

(完整版)视频目标检测与跟踪算法综述

视频目标检测与跟踪算法综述 1、引言 运动目标的检测与跟踪是机器视觉领域的核心课题之一,目前被广泛应用在视频编码、智能交通、监控、图像检测等众多领域中。本文针对视频监控图像的运动目标检测与跟踪方法,分析了近些年来国内外的研究工作及最新进展。 2、视频监控图像的运动目标检测方法 运动目标检测的目的是把运动目标从背景图像中分割出来。运动目标的有效分割对于目标分类、跟踪和行为理解等后期处理非常重要。目前运动目标检测算法的难点主要体现在背景的复杂性和目标的复杂性两方面。背景的复杂性主要体现在背景中一些噪声对目标的干扰,目标的复杂性主要体现在目标的运动性、突变性以及所提取目标的非单一性等等。所有这些特点使得运动目标的检测成为一项相当困难的事情。目前常用的运动目标检测算法主要有光流法、帧差法、背景相减法,其中背景减除法是目前最常用的方法。 2.1帧差法 帧差法主要是利用视频序列中连续两帧间的变化来检测静态场景下的运动目标,假设f k(x, y)和f(k i)(x, y)分别为图像序列中的第k帧和第k+1帧中象素点(x,y)的象素值,则这两帧图像的差值图像就如公式2-1所示: Diff ki f k(x, y) f(k 1)(x, y)(2-1)2-1式中差值不为0的图像区域代表了由运动目标的运动所经过的区域(背景象素值不变),又因为相邻视频帧间时间间隔很小,目标位置变化也很小,所以运动目标的运动所经过的区域也就代表了当前帧中运动目标所在的区域。利用此原理便可以提取出目标。下图给出了帧差法的基本流程:1、首先利用2-1式得到第k帧和第k+1帧的差值图像Diff k 1;2、对所得到的差值图像Diff k 1二值化(如 式子2-2示)得到Qk+1 ;3、为消除微小噪声的干扰,使得到的运动目标更准 确,对Q k 1进行必要的滤波和去噪处理,后处理结果为M k 1。 1

帧差法目标识别

本文展示了一种自动识别视频中移动目标的方法。论文中提取移动目标通过帧序列,这种方法不需要先验知识,比如:时间阈值调整。基于相邻帧的连续对称差分,我们能得到全分辨率显著图;然后利用最大熵方法计算阈值决定候选区域和获得兴趣点的种子;最后用修改的模糊生长方法获得最终的结果。本文中提出的算法是有效的、具有鲁棒性的。实验结果也证明它具有很好的效果。 移动目标检测在计算机视觉中有广泛应用,但是在研究过程中也有很多 挑战。通常目标检测方法被分为三类: (1)基于时间信息。例如:帧差法能很快检测出目标,但很难得到整个物体的轮廓,并且易受背景的影响。 (2)基于空间信息的。 (3)基于时间和空间信息的。有较好的效果,计算复杂度高。 本文提出了一种基于时间信息的方法。 (1)通过相邻帧对称差分获得显著图; (2)使用最大熵模型得到一个阈值去二值化时间显著图和获得候选区域。然后选择候选区域最显著的点作为兴趣种子点。 (3)对于每一兴趣种子点,在显著图上应用模糊生长方法直到没有点能被聚集和能获得移动物体的轮廓 A.移动显著图的产生 ①获得一段连续帧 ②相邻帧做差分得到移动目标。 ③对得到的差分显著图做开运算。作用:消除小的和亮的细节。 ④为了去除噪声和背景运动的影响,对差分得到的显著图做和再平均 。 B.兴趣种子选择 由于图像是连续变化的,一个固定的阈值不能很好的二值化显著图,本文采用最大熵方法得到一个变化的阈值去二值化显著图和提取候选兴趣区域。然后选择兴趣种子点。

C.移动目标检测 为了提取移动的目标,本论文应用模糊生长方法去使兴趣点的种子生长成一 片区域。如果像素值满足下列条件,对兴趣点的种子使用模糊生长算法。a和u表示如下图 实验 数据集:PETS2000, PETS2001 and Dataset2014 设备:The algorithm is implemented with C++ on a personal computer with Core i3 3.3 GHz CPU and 2G RAM. 评价标准: 假负率(False Negative Rate , FNR) :FNR = FN /(TP + FN) ,即被预测为负的正样本结果数/正样本实际数 假正率(False Positive Rate , FPR) :FPR = FP /(FP + TN) ,即被预测为正的负样本结果数 /负样本实际数 Specificity (负例的覆盖率,True Negative Rate) =正确预测到的负例个数/实际负例总数 PBC :Percentage of Bad Classifications 召回率(Re、recall):预测为真实正例除以所有真实正例样本的个数 准确率(Precision) :预测为真实正例除以所有被预测为正例样本的个数 F-measure:查准率和查全率的调和平均值, 更接近于P, R两个数较小的那个: F=2* P* R/(P + R) 实验结果如下图

(完整word版)基于图像处理的运动物体的跟踪与检测开题报告

1、课题来源 随着计算机技术的高速发展,运动物体的检测和跟踪在图像处理、计算机视觉、模式识别、人工智能、多媒体技术等领域越来越受到人们的关注。运动跟踪和检测的应用广泛,在智能监控和人机交互中,如:银行、交通、超市等场合常常使用运动跟踪分析技术,通过定位物体并对其行为进行分析,一旦发现物体有异常行为,监控系统就发出警报,提醒人们注意并即时的处理,改善了人工监督注意力分散、反应时间较慢、人力资源浪费等问题。运动目标的跟踪在虚拟现实、工业控制、军事设备、医学研究、视频监控、交通流量观测监控等很多领域也有重要的实用价值。特别在军事上,先进的武器导航、军事侦察和监控中都成功运用了自动跟踪技术。而跟踪的难点在于如何快速而准确的在每一帧图像中实现目标定位。正因如此,对运动目标的跟踪和检测的研究很有价值。 2、研究目的和意义 运动目标检测是图像处理与计算机视觉的一个分支,在理论和实践上都有重大意义,长久以来一直被国内外学者所关注。在实际中,视频监控利用摄像机对某一特定区域进行监视,是一个细致和连续的过程,它可以由人来完成,但是人执行这种长期枯燥的例行监测是不可靠,而且费用也很高,因此引入运动监测非常有必要。它可以减轻人的负担,并且提高了可靠性。概括起来运动监测主要包括三个内容:运动目标检测,方向判断和图像跟踪。运动目标检测是整个监测过程的基础,运动目标的提取准确与否,直接关系到后续高级过程的完成质量。3、国内外研究现状和发展趋势及综述 运动目标检测在国外已经取得了一些的研究成果,许多相关技术已经开始应用到实际系统中,但是国内研究相对落后,与国外还有较大差距。传统的视频目标提取大致可以分两类,一类以空间同性为准则,先用形态学滤波器或其他滤波器对图像作预处理;然后对该图像的亮度、色度或其他信息作空间上的分割以对区域作边缘检测;之后作运动估计,并合并相似的运动区域以得到最终的提取结果。如光流算法、主动轮廓模型算法。此类方法结果较为准确但是运算量相对较大。另一类算法主要以时间变化检测作为准则,这类算法主要通过帧差检测图像上的变化区域和不变区域,将运动物体与静止背景进行分割。此类方法运算量小,提取结果不如前类方法准确。此外,还有时空结合方法、时空亮度梯度信息结合的方法等等。 4、研究方法

帧差法、光流法、背景减除法

帧差法、光流法、背景减除法 运动目标检测是指在序列图像中检测出变化区域并将运动目标从背景图像中提取出来。通常情况下,目标分类、跟踪和行为理解等后处理过程仅仅考虑图像中对应于运动目标的像素区域,因此运动目标的正确检测与分割对于后期处理非常重要然而,由于场景的动态变化,如天气、光照、阴影及杂乱背景干扰等的影响,使得运动目标的检测与分割变得相当困难。根据摄像头是否保持静止,运动检测分为静态背景和运运动目标检测是指在序列图像中检测出变化区域并将运动目标从背景图像中提取出来。通常情况下,目标分类、跟踪和行为理解等后处理过程仅仅考虑图像中对应于运动目标的像素区域,因此运动目标的正确检测与分割对于后期处理非常重要然而,由于场景的动态变化,如天气、光照、阴影及杂乱背景干扰等的影响,使得运动目标的检测与分割变得相当困难。根据摄像头是否保持静止,运动检测分为静态背景和运动背景两类。大多数视频监控系统是摄像头固定的,因此静态背景下运动目标检测算法受到广泛关注,常用的方法有帧差法、光流法、背景减除法等。 (l)帧差法 帧差法是最为常用的运动目标检测和分割方法之一,基本原理就是在图像序列相邻两帧或三帧间采用基于像素的时间差分通过闭值化来提取出图像中的运动区域。首先,将相邻帧图像对应像素值相减得到差分图像,然后对差分图像二值化,在环境亮度变化不大的情况下,如果对应像素值变化小于事先确定的阂值时,可以认为此处为背景像素:如果图像区域的像素值变化很大,可以认为这是由于图像中运动物体引起的,将这些区域标记为前景像素,利用标记的像素区域可以确定运动目标在图像中的位置。由于相邻两帧间的时间间隔非常短,用前一帧图像作为当前帧的背景模型具有较好的实时性,其背景不积累,且更新速度快、算法简单、计算量小。算法的不足在于对环境噪声较为敏感,闽值的选择相当关键,选择过低不足以抑制图像中的噪声,过高则忽略了图像中有用的变化。对于比较大的、颜色一致的运动目标,有可能在目标内部产生空洞,无法完整地提取运动目标。 (2)光流法 光流法的主要任务就是计算光流场,即在适当的平滑性约束条件下,根据图像序列的时空梯度估算运动场,通过分析运动场的变化对运动目标和场景进行检测与分割。通常有基于全局光流场和特征点光流场两种方法。最经典的全局光流场计算方法是L-K(Lueas&Kanada)法和H-S(Hom&Schunck)法,得到全局光流场后通过比较运动目标与背景之间的运动差异对运动目标进行光流分割,缺点是计算量大。特征点光流法通过特征匹配求特征点处的流速,具有计算量小、快速灵活的特点,但稀疏的光流场很难精确地提取运动目标的形状。总的来说,光流法不需要预先知道场景的任何信息,就能够检测到运动对象,可处理背景运动的情况,但噪声、多光源、阴影和遮挡等因素会对光流场分布的计算结果造成严重影响;而且光流法计算复杂,很难实现实时处理。 (3)背景减除法 背景减除法是一种有效的运动对象检测算法,基本思想是利用背景的参数模型来近似背景图像的像素值,将当前帧与背景图像进行差分比较实现对运动区域的检测,其中区别较大的像素区域被认为是运动区域,而区别较小的像素区域被认为是背景区域。背景减除法必须要有背景图像,并且背景图像必须是随着光照或外部环境的变化而实时更新的,因此背景减除法的关键是背景建模及其更新。针对如何建立对于不同场景的动态变化均具有自适应性的背景模型,减少动态场景变化对运动分割的影响,研究人员已提出了许多背景建模算法,但总的来讲可以概括为非回归递推和回归递推两类。非回归背景建模算法是动态的利用从某一时刻开始到当前一段时间内存储的新近观测数据作为样本来进行背景建模。非回归背景建模方法有最简单的帧间差分、中值滤波方法、Toyama等利用缓存的样本像素来估计背景模型

基于FPGA的帧间差分算法实现调研报告

基于FPGA的帧间差分算法调研报告 一、背景与重要意义: 帧间差分法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法,它可以很好地适用于存在多个运动目标和摄像机移动的情况。当监控场景中出现异常物体运动时,帧与帧之间会出现较为明显的差别,两帧相减,得到两帧图像亮度差的绝对值,判断它是否大于阈值来分析视频或图像序列的运动特性,确定图像序列中有无物体运动。图像序列逐帧的差分,相当于对图像序列进行了时域下的高通滤波。 帧间差分法的优点是:算法实现简单,程序设计复杂度低;对光线等场景变化不太敏感,能够适应各种动态环境,稳定性较好。Altera公司推出的FPGA内部含有可以编程的输入/输出单元、可编程逻辑单元、嵌入式块RAM、丰富的布线资源、底层嵌入式功能单元 和内嵌专用内核,利用这些资源可以方便的搭建系统,所以本设计采用FPGA作为主控芯片。随着FPGA技术的不断创新和发展,其必定会在计算机视觉领域发挥越来越重要的作用。 二、国内外研究现状(2009~2014): 课题相关国内论文调研: 期刊论文: 1肖丽君 肖丽君(1969-),女,副教授,硕士,主要从事人工智能、计算机视觉研究. [1]肖丽君.基于背景减与帧间差分结合的视频运动目标分割[J].北华大学报(自然科学版),2010,05:1009-4822 2郑锵 郑铿(1988-),男,硕士研究生。研究方向:图像处理,机器视觉. [1]郑铿,李榕.基于FPGA的视频跟踪系统设计与实现[J],激光杂志,2014,3:0523-2743 3李金屏 李金屏( 1968-),男,教授,博士,硕士生导师.研究方向: 人工智能模式识别和图像处理[1]李金屏,王磊,张中方. 利用FPGA实现视频移动目标的有效检测[J]. 计算机工程与应用,2010,26:162-165. [2]王磊,张中方,李金屏. 基于FPGA的静态背景下移动目标检测[J]. 济南大学学报(自然科学版),2009,04:342-346. 硕士生毕业论文: 4姜宇 姜宇,男,工学硕士,研究方向:电子科学与技术 [1]姜宇.基于FPGA的运动目标检测系统的研究[D].大连海事大学,2012. 5廖马腾 廖马腾,男,工学硕士,研究方向:图像识别 [1]廖马腾. 基于基于FPGA的运动车辆检测算法研究[D].五邑大学,2013 6黄宇 黄宇,男,工学硕士,研究方向:电路与系统

目标检测综述

一、传统目标检测方法 如上图所示,传统目标检测的方法一般分为三个阶段:首先在给定的图像上选择一些候选的区域,然后对这些区域提取特征,最后使用训练的分类器进行分类。下面我们对这三个阶段分别进行介绍。 (1) 区域选择这一步是为了对目标的位置进行定位。由于目标可能出现在图像的任何位置,而且目标的大小、长宽比例也不确定,所以最初采用滑动窗口的策略对整幅图像进行遍历,而且需要设置不同的尺度,不同的长宽比。这种穷举的策略虽然包含了目标所有可能出现的位置,但是缺点也是显而易见的:时间复杂度太高,产生冗余窗口太多,这也严重影响后续特征提取和分类的速度和性能。(实际上由于受到时间复杂度的问题,滑动窗口的长宽比一般都是固定的设置几个,所以对于长宽比浮动较大的多类别目标检测,即便是滑动窗口遍历也不能得到很好的区域) (2) 特征提取由于目标的形态多样性,光照变化多样性,背景多样性等因素使得设计一个鲁棒的特征并不是那么容易。然而提取特征的好坏直接影响到分类的准确性。(这个阶段常用的特征有SIFT、HOG等) (3) 分类器主要有SVM, Adaboost等。 总结:传统目标检测存在的两个主要问题: 一是基于滑动窗口的区域选择策略没有针对性,时间复杂度高,窗口冗余; 二是手工设计的特征对于多样性的变化并没有很好的鲁棒性。

二、基于Region Proposal的深度学习目标检测算法 对于传统目标检测任务存在的两个主要问题,我们该如何解决呢? 对于滑动窗口存在的问题,region proposal提供了很好的解决方案。region proposal(候选区域)是预先找出图中目标可能出现的位置。但由于region proposal 利用了图像中的纹理、边缘、颜色等信息,可以保证在选取较少窗口(几千个甚至几百个)的情况下保持较高的召回率。这大大降低了后续操作的时间复杂度,并且获取的候选窗口要比滑动窗口的质量更高(滑动窗口固定长宽比)。比较常用的region proposal算法有selective Search和edge Boxes,如果想具体了解region proposal可以看一下PAMI2015的“What makes for effective detection proposals?” 有了候选区域,剩下的工作实际就是对候选区域进行图像分类的工作(特征提取+分类)。对于图像分类,不得不提的是2012年ImageNet大规模视觉识别挑战赛(ILSVRC)上,机器学习泰斗Geoffrey Hinton教授带领学生Krizhevsky使用卷积神经网络将ILSVRC分类任务的Top-5 error降低到了15.3%,而使用传统方法的第二名top-5 error高达26.2%。此后,卷积神经网络占据了图像分类任务的绝对统治地位,微软最新的ResNet和谷歌的Inception V4模型的top-5 error降到了4%以内多,这已经超越人在这个特定任务上的能力。所以目标检测得到候选区域后使用CNN对其进行图像分类是一个不错的选择。 2014年,RBG(Ross B. Girshick)大神使用region proposal+CNN代替传统目标检测使用的滑动窗口+手工设计特征,设计了R-CNN框架,使得目标检测取得巨大突破,并开启了基

检测交通视频中运动目标的程序设计

专业综合实践任务书 学生姓名:________专业班级: 指导教师: 工作单位: 信息工程学院 题目:检测交通视频中运动目标的程序设计 初始条件: (1)提供实验室机房及其matlab软件; (2)数字图像处理的基本理论学习。 要求完成的主要任务:(包括课程设计工作量及其技术要求,以及说明书撰写等具体 要求): (1)学习运动目标检测的原理及方法,并利用matlab设计程序完成以下功能;(2)读取交通视频文件; (3)运用一种背景建模方法,提取背景图像; (4)读取一帧有运动目标的图像,利用背景差分法,得到差分区域; (5)对差分区域进行数学形态学处理,得到完整的运动目标区域,并显示运动目标检测结果图; (6)对检测的结果进行分析比较; (7)要求阅读相关参考文献不少于5篇; (8)根据课程设计有关规范,按时、独立完成课程设计说明书。 时间安排: (1) 布置课程设计任务,查阅资料,确定方案 1.5天; (2) 进行编程设计、调试2天; (3) 完成课程设计报告书、答辩 1.5天; 指导教师签名: 年月日系主任(或责任教师)签名: 年月日

目录 摘要 (1) 1.概述 (2) 2.设计原理 (3) 2.1 背景提取与更新算法 (3) 2.1.1 手动背景法 (4) 2.1.2 统计中值法 (4) 2.1.3 算术平均法 (4) 2.1.4 Surendra算法 (5) 2.2 背景差分法运动目标检测 (6) 2.3 形态学滤波 (7) 2.4总体方案设定 (9) 2.4.1 算术平均法与Surendra算法相结合的背景建模 (9) 2.4.2 总体程序框图 (10) 3.软件编程实现 (11) 4.结果及分析 (13) 5.心得体会 (17) 参考文献 (18)

光流法运动目标跟踪论文

研究生课程论文 《光流法运动目标跟踪》 课程名称s 姓名 学号 专业 任课教师 教师评阅意见: 论文成绩评阅日期 课程论文提交时间:年月日

摘要本文实现了对运动目标的跟踪检测,重点研究金字塔Lucas-Kanade算法,在研究基于特征点的目标跟踪的一般方法,即采用改进的Harris角点提取点的方法。实验结果表明先采用Shi-Tomasi算法比Harris算法提取角点效果更好,之后用金字塔光流进行跟踪。 关键词运动目标跟踪Lucas-Kanade Shi-Tomasi 改进Harris 1.引言 近些年,模式识别领域的图像处理已经成为一个支柱,其中,动态目标的识别跟踪已经被研究者应用到工程上,而运动目标跟踪算法的优劣直接影响着运动目标跟踪的稳定性和精确性。本文主要是运动光流法等算法对运动目标进行跟踪。目标特征点的跟踪是计算机视觉中的一个基本而极具挑战性的研究课题,该课题在人机互动(HCI),目标识别,目标运动等领域有着非常重要的应用。虽然对运动目标跟踪算法能够完成对运动目标的可靠跟踪,大多数都存在处理数据量大,运算复杂等问题。因此,研究具有高精度且运算简单的目标检测与跟踪算法是图形跟踪迫切需要解决的问题,目前基于特征和光流的图像跟踪方法受到了极大的关注。 2.运动目标检测算法 运动目标检测技术是目标自动检测、识别与跟踪的基础,也是实现进一步处理视频编码、目标跟踪、目标分类及行为理解等的关键技术。基于视频或序列图像的分析一般可分为四个步骤:(1)运动目标的检测与提取,(2)运动目标的分类,(3)运动目标的跟踪,(4)运动目标的行为理解与分析,如图1所示。 图像序列运动检测目标分类目标跟踪行为理解 图1 分析过程 在计算机视觉处理中,运动目标检测技术处于中层处理级别,它是指在一个视频或者图像中,对需要研究的并且是处于运动状态的目标和背景进行分离,对于行为理解,行为分析等其他技术的研究,运动目标检测也是一种有效的方法。 目标检测要依据运动目标的主要特性,例如时间特性、边缘形状特性、颜色灰度特性、矢量特性等等。时间特性、区域作为视频序列时间差分和图像分割的基础,是运动目标最基本的特性。目标运动时在形状、大小、刚度等方面的差异称为形态特征,利用形态特征对运动目标检测,难点是对小目标的检测。 3.光流法 1950年,Gibuson首先提出了光流的概念,所谓光流就是指图像表现运动的速度。物体在运动的时候之所以能被人眼发现,就是因为当物理运动时,会在人的视网膜上形成一系列的连续变化的图像,这些变化信息在不同时间,不断的流过眼睛视网膜,就好像一种光流过一

相关文档
最新文档