人形目标检测与跟踪

——人形目标检测与跟踪

一、

本组研究方案，算法系统框图

二、检测算法、原理、程序实现方法、调试过程

【视频处理】

老师提供的两端视频两段视频并不能直接用来输入OpenCV 所编程序处理，需要将其转化为无压缩的avi 格式。利用软件WinAVI Video Converter ，转换为ZJMedia uncompressed RGB24格式。

【背景建模】

我们小组利用N 帧图像的平均来求取背景，并实时对背景进行更新。由于考虑到ExhibitionHall.avi 视频中运动物体所占场景比例少，运动轨迹为直线，为了处理的简单，所以在这不刻意区分物体和背景像素点。即(1)(1)()()A A A B k B k I k αα+=-+ ，这里的α 很小（0.003）。

【前景提取】

灰度图像的处理比彩色图像的处理过程简单。我们小组将读入的彩色图像变成灰度图像，并二值化；同样，背景也进行二值化。两者做差值，得到一些离散的黑白点块。也就

是要识别的目标。但是，这样得到的块是分散开的，程序

整的人形被分块识别成多个目标。为此，我们做了一些简

单的后处理。先腐蚀元素，去除不必要的杂点，然后进行

膨胀块处理，自定义块的大小，使其膨胀成能被识别成一

个人形的目标。另外，我们还做个简单的高斯低通滤波，

是得到的结果光滑些。其流程图如右。

【目标检测】

根据前景处理的结果，得到一些连续的块目标。利用帧间差，可以提取出目标的轮廓。根

据轮廓的位置分布，计算出检测目标的形心和大小。并予以标记。

【目标跟踪】

根据目标帧间的位移差值，可以计算出运动目标在x，y方向上的运动速度。可以利用这

个关系判断下一帧目标的位置。设置一个合适的阈值，就可以实现目标的跟踪。在此，我们还

引入了重叠判断机制。如果目标重叠，即通过遍历，发现块重叠大于一定阈值后，根据前面得

到的位置预测判断当前物块位置；如果不重叠，则遍历这幅图像中的所有物块，寻找临近最优

物块，以保持编号连续性。在目标跟踪过程中，还进行了Kalman滤波，对目标轨迹进行滤波

处理。

三、实验结果，图示

【背景建模】

【前景提取】

直接与背景做差值得到的图像

加入腐蚀膨胀后得到的图像

【目标检测】

【目标跟踪】

【目标重叠处理】

四、总结、存在问题分析

这段程序能基本检测出在场景中的运动目标，并且对目标没有长时间停留和背景中的场景固定的视频检测效果好。

我们小组在刚开始做的时候并没有注意到是“人形目标检测与跟踪”，而是直接作为“运动目标的识别和跟踪”进行处理。由于建的模型很简单，只要是与背景相比有变化的部分都能被检测出来。如果要做人形目标识别，就需要对人形目标进行建模，规定一定的长宽比，设定一个阈值，在这范围内的目标就能被识别出来。这样，在镜中的成像，光照的影响都可以被滤掉。

另外，这段程序在某些与背景相似的目标检测上效果较差，容易把它识别成两个目标。这

是因为背景建模采用了“背景更新”法和前景提取用了

“二值化处理”。虽然采用了“背景更新”，但是给定的

很小，只有0.003，相当于我们认为背景一直是固定的。

“二值化处理”使得在识别上忽视了很多像素点。这样

和背景颜色相似点就很容易被判为背景，这样就会造成

一个人形目标会被识别成几个目标。采用“帧差法”能

较好的避免这个问题，得到的人形轮廓与背景的像素没关系。

物体长时间停留，会产生目标丢失。当该物体再次移动时，会产生虚假目标。这也与背景建模有关系。这也许是采用了“背景法”建模的同学心中的永远的痛。因为roomWalk.mpg 里就有人形物体长时间停留。经过小组内讨论，采用“背景法”和“帧间差”结合的方法能较好的避免这个问题。如果物体长时间停留，采用“背景法”和“帧间差”得到的结果肯定会不一样。在这要进行一点简单处理，就是把“帧间差”图像做镜像，然后用与“背景法”中区域像素填充“帧间差”图像中人形区域。两者做差值，根据得到的差值就会把整幅图像分成两个区域，一个是物体长时间停留得到的“虚假目标区域”，一个是“正常目标区域”。借用图像分割技术中的“基于区域的分割”中的‘拆分和聚合’思想，在背景更新中将“虚假目标区域”进行‘忽略’，这样得到的结果就只有运动目标了。

多目标跟踪

多目标跟踪的基本理论所谓多目标跟踪，就是为了维持对多个目标当前状态的估计而对所接收到的量测信息进行处理的过程。目标模型不确定性是指目标在未知的时间段内可能作己知的或未知的机动。一般情况下，目标的非机动方式及目标发生机动时的不同的机动形式都可以通过不同的数学模型来加以描述。在进行目标跟踪过程中，采用不正确的目标运动模型会导致跟踪系统跟踪性能的严重下降。因而在目标跟踪过程中，运动模型采用的正确与否对目标的跟踪性能是至关重要的。观测不确定性是指由传感器系统提供的量测数据可能是外部的干扰数据，它有可能是由杂波、虚警和相邻的目标所引起的，也可能是由被跟踪目标的对抗系统所主动发出来的虚假信息。这种不确定性在本质上显然是离散的，给目标跟踪问题提出了极大的挑战，相应地也就产生了数据关联的问题。数据关联数据关联的作用主要有：航迹保持、航迹建立和航迹终结。数据关联算法主要有：“最近邻”方法，“全邻”最优滤波器方法、概率数据关联滤波器方法、多模型方法、相互作用多模型一概率数据关联滤波器方法、联合概率数据关联滤波器方法、多假设方法、航迹分裂方法。 1.“最近邻”方法的思想是：在落入跟踪波门中的所有量测中，离目标跟踪预测位置最近的量测认为是有效量测。“最近邻”方法的好处是算法最简单，但是精度差，抗杂波干扰的能力差。“最近邻”方法因为简单，算法易实现，因此也是目前广泛采用的一种数据关联算法． 2 .“全邻”最优滤波器 Singer,Sea和Housewright发展了一类“全邻”滤波器，这种滤波器不仅考虑了所有候选回波（空间累积信息），而且考虑了跟踪历史，即多扫描相关（时间累积信息）假定多余回波互不相关并且均匀分布于跟踪门内，则任何跟踪门的体积V内多余回波的数目Cx服从均值为βV的泊松分布。假定在K-1时刻，轨迹a′正确的概率为Pa(k-1)。关键问题是计算k时刻轨迹的正确概率Pa(k)。

动态视频目标检测和跟踪技术(入门)

动态视频目标检测和跟踪技术传统电视监控技术只能达到“千里眼”的作用，把远程的目标图像（原始数据）传送到监控中心，由监控人员根据目视到的视频图像对现场情况做出判断。智能化视频监控的目的是将视频原始数据转化为足够量的可供监控人员决策的“有用信息”，让监控人员及时全面地了解所发生的事件：“什么地方”，“什么时间”，“什么人”，“在做什么”。将“原始数据”转化为“有用信息”的技术中，目标检测与跟踪技术的目的是要解决“什么地方”和“什么时间”的问题。目标识别主要解决“什么人”或“什么东西”的问题。行为模式分析主要解决“在做什么”的问题。动态视频目标检测技术是智能化视频分析的基础。本文将目前几种常用的动态视频目标检测方法简介如下：背景减除背景减除（Background Subtraction）方法是目前运动检测中最常用的一种方法，它是利用当前图像与背景图像的差分来检测出运动目标的一种技术。它一般能够提供相对来说比较全面的运动目标的特征数据，但对于动态场景的变化，如光线照射情况和外来无关事件的干扰等也特别敏感。实际上，背景的建模是背景减除方法的技术关键。最简单的背景模型是时间平均图像，即利用同一场景在一个时段的平均图像作为该场景的背景模型。由于该模型是固定的，一旦建立之后，对于该场景图像所发生的任何变化都比较敏感，比如阳光照射方向，影子，树叶随风摇动等。大部分的研究人员目前都致力于开发更加实用的背景模型，以期减少动态场景变化对于运动目标检测效果的影响。时间差分时间差分（Temporal Difference 又称相邻帧差）方法充分利用了视频图像的特征，从连续得到的视频流中提取所需要的动态目标信息。在一般情况下采集的视频图像，若仔细对比相邻两帧，可以发现其中大部分的背景像素均保持不变。只有在有前景移动目标的部分相邻帧的像素差异比较大。时间差分方法就是利用相邻帧图像的相减来提取出前景移动目标的信息的。让我们来考虑安装固定摄像头所获取的视频。我们介绍利用连续的图像序列中两个或三个相邻帧之间的时间差分，并且用阈值来提取出视频图像中的运动目标的方法。我们采用三帧差分的方法，即当某一个像素在连续三帧视频图像上均有相

多摄像头目标检测与跟踪方法研究

华中科技大学硕士学位论文多摄像头目标检测与跟踪方法研究姓名：颜杰申请学位级别：硕士专业：通信与信息系统指导教师：邱锦波 2011-01-18

华中科技大学硕士学位论文摘要视频跟踪是计算机视觉领域的一个基础的研究课题，也一个非常具有挑战性的研究方向。在当前的现实生活中，视频跟踪技术已经在各种领域内得到了广泛的应用，其中包括视频监控、军事工程、交通管理、智能机器人和人机交互等，具有很高的学术研究和应用价值。单摄像头的视频跟踪系统存在很多无法解决的问题，其中包括目标遮挡、摄像头视野有限、不能进行全方位的跟踪等问题，而多摄像头的跟踪系统能够很好的克服这些问题。因此，多摄像头目标检测与跟踪正在成为研究的热点。本文在前人研究的基础上，重点研究了如何提高多摄像头之间目标确认的精度，以及如何在保证对目标准确跟踪的条件下，降低整个系统的数据传输量和计算量。本文首先分析多摄像头跟踪领域中，摄像头之间目标确认问题，提出了一种在基于平面单应性的确认技术中，引入目标距离特征的新方法。由于目标距离不受平面单应性约束条件的影响，加入目标距离特征能有效的提高摄像头之间目标的确认精度。实验结果表明，在基于平面单应性的确认算法中，增加目标距离特征后，确认精度得到了一定的提高。为了有效地减少多摄像头跟踪系统的数据传输量和计算量，本文还提出了一种基于最优摄像头选择的跟踪算法，并从理论分析和实验上，对该算法的性能进行了评估。实验结果显示，该算法在不降低对目标跟踪准确度的情况下，有效地降低整个系统的数据传输量和计算量。关键词：多摄像头，目标检测，目标跟踪，目标确认，最优摄像头选择

目标检测与跟踪

第九章图像目标探测与跟踪技术主讲人：赵丹培宇航学院图像处理中心 zhaodanpei@https://www.360docs.net/doc/8519074855.html, 电话：82339972

目录 9.1 概论 9.2 目标检测与跟踪技术的发展现状9.3 目标检测与跟踪技术的典型应用9.4 图像的特征与描述 9.5 目标检测方法的基本概念与原理9.6 目标跟踪方法涉及的基本问题

9.1 概论 1、课程的学习目的学习和掌握目标探测、跟踪与识别的基本概念和术语，了解一个完整信息处理系统的工作流程，了解目标探测、跟踪与识别在武器系统、航空航天、军事领域的典型应用。了解目标检测、跟踪与识别涉及的关键技术的发展现状，为今后从事相关的研究工作奠定基础。 2、主要参考书：《目标探测与识别》，周立伟等编著，北京理工大学出版社；《成像自动目标识别》，张天序著，湖北科学技术出版社；《动态图像分析》，李智勇沈振康等著，国防工业出版社；

引言：学习目标检测与跟踪技术的意义 ?现代军事理论认为，掌握高科技将成为现代战争取胜的重要因素。以侦察监视技术、通信技术、成像跟踪技术、精确制导技术等为代表的军用高科技技术是夺取胜利的重要武器。 ?成像跟踪技术是为了在战争中更精确、及时地识别敌方目标，有效地跟踪目标，是高科技武器系统中的至关重要的核心技术。 ?例如：一个完整的军事战斗任务大致包括侦察、搜索、监视以及攻击目标和毁伤目标。那么快速的信息获取和处理能力就是战争胜利的关键，因此，目标的实时探测、跟踪与识别也成为必要的前提条件。

?随着现代高新技术的不断发展及其在军事应用领域中的日益推广，传统的作战形态正在发生着深刻的变化。 1973年的第四次中东战争，1982年的英阿马岛之战，1991年的海湾战争及1999年的科索沃战争，伊拉克战争等都说明了这一点。西方各军事强国都在积极探索对抗武器，特别是美国更是投入了巨大的物力、人力和财力积极研制弹道导弹防御系统。而图像检测、跟踪和识别算法作为现代战场信息环境作战成败的关键，具备抗遮挡、抗丢失和抗机动鲁棒性的智能跟踪器，将是现代战场作战必备品，具有广泛的应用前景。

目标检测、跟踪与识别技术与现代战争

目标检测、跟踪与识别技术与现代战争【摘要】本文讨论目标检测、跟踪与识别技术在现代战争各个领域中的应用，总结目标识别技术的发展方向，提出目标识别技术工程化实现方法，同时本文介绍了国外目标识别的现状及发展趋势，提出了现代战争应采用综合识别系统解决目标识别问题的建议。关键词目标检测；目标跟踪；目标识别；雷达；人工神经网络；精确制导 1．引言随着现代科学技术的飞速发展及其在军事领域内日益广泛的应用，传统的作战思想、作战方式已发生根本性的变化。从第一次海湾战争到科索沃战争，特别是刚刚结束的海湾战争，空中精确打击和空地一体化作战已经成为最重要的作战形式。集指挥、控制、通信、计算机、情报、监视侦察于一体的C ISR 已成为取得战场主动权，赢得最后胜利的关键因素。目标识别技术是雷达智能化、信息化的重要技术支撑手段。在现代化战争中，目标识别技术在预警探测、精确制导、战场指挥和侦察、敌我识别等军事领域都有广泛的应用前景，已受到了世界各国的关注。现代战争中取得战场制信息权的关键之一是目标属性识别。现代战争的作战环境十分复杂，作战双方都在采用相应的伪装、隐蔽、欺骗和干扰等手段和技术，进行识别和反识别斗争。因此仅仅依靠一种或少数几种识别手段很难准确地进行目标识别，必须利用多个和多类传感器所收集到的多种目标属性信息，综合出准确的目标属性，进行目标检测，跟踪后进行识别。 2．目标检测、跟踪与识别技术在现代战争中的应用 2．1 目标检测、跟踪与识别技术在预警探测上的应用目标检测、跟踪与识别技术对于弹道导弹的预警工作有重要的作用。弹道导弹一般携带多个弹头，其中可能包含核弹头或大规模杀伤的弹头以及常规弹头，预警雷达必须具备对目标进行分类和识别真假弹头的能力，将核弹头或大规模杀伤的弹头分离出来，为弹道导弹防御(BMD)系统进行目标攻击和火力分配提供依据。早期的BMD系统假设只有一个核弹头，多弹头分导技术的出现，使问题转化为雷达的多目标识别问题，加上电子对抗技术的广泛使用，给目标识别技术带来很大困难。另外，预警雷达还要对空中目标或低空目标进行探测，对来袭目标群进行分类识别。利用星载雷达以及远程光学望远镜等观测设备，可以对外空目标进行探测，对外空来袭目标进行分类和识别，达到早期预警的工作。

人体目标检测与跟踪算法研究

人体目标检测与跟踪算法研究摘要：近些年以来，基于视频中人体目标的检测与跟踪技术研究越来越被重视。然而，由于受到目标自身特征多样性和目标所处环境的复杂性和不确定性的影响，现存算法的性能受到很大的限制。本文对目前所存在的问题进行了分析，并提出了三帧差分法和改进阈值分割法相结合的运动目标检测算法和多特征融合的改进运动目标跟踪算法。这两种算法不仅可以准确有效的检测出运动目标而且能够满足实时性的要求，有效的解决了因光照变化和目标遮挡等情况造成的运动目标跟踪准确度下降或跟踪目标丢失等问题。关键词：三帧差分，Camshift，阈值分割 Research Based on Human Target Detectionand Tracking Algorithm Abstract: In recent years, human object detection and tracking become more and more important. However the complexity, uncertainty environment and the target’s own diversity limit the performance of existing algorithms. The main works of this paper is to study and analysis the main algorithm of the human object detection and tracking, and proposes a new moving target detection method based on three-frame difference method and threshold segmentation and improved Camshift tracking algorithm based on multi-feature fusion. These algorithm can satisfy the real-time, while accurately and efficiently detect moving targets, and also effectively solves the problem of tracking object lost or misplaced under illumination change or target occlusion. Keywords: three-frame difference, Camshift, threshold segmentation 一、绪论（一）选题的背景和意义人类和动物主要通过眼睛来感受和认知外部世界。人类通过视觉所获取的信息占了60%[1]，因此，在开发和完善人工智能的过程中，赋予机器视觉的功能这一操作极不可缺少。完善上述功能需要以许多技术为基础，特别是运动目标的检测与跟踪技术。近些年以来，此技术受到了越来越多的关注[2]。目前，此技术也在各领域得到了充分的应用，涵盖的领域有智能交通、导航、智能视频监控、精确制导、人机交互和多媒体视频编码压缩技术等。

多目标跟踪算法

多目标跟踪算法先来回顾下卡尔曼滤波器：假定k k x |表示当前k 时刻目标的状态，k 1k x |+表示下一个时刻目标的状态，k z 则表示k 时刻的实际观测。一般地模型都假定为线性的：这里的1k x +为k+1时刻目标的状态，k x 为k 时刻的状态，为状态转移矩阵，而是服从均值为0方差为的正态分布，表示由噪声等引起的干扰。卡尔曼滤波采取初步估计：这里的估计只是初步的估计，状态估计与实际状态的误差矩阵等于状态1k x +的的方差，即：更新（修正）：这里已知了实际观察，同样是假定观测与状态的似然关系是线性的，即满足：服从一个均值为0方差为的正态分布。卡尔曼滤波器给出了经过更新后得到的比较合理的k+1时刻的估计为：相应地得到了更新后方差的估计：这里：其实这些都是通过最小二乘法推出来的，即使得误差：最小，而初步估计也是通过最小二乘法获得，即使得：最小。有了上述估计方程后，便可以获得一个估计流程：

下面再介绍下贝叶斯公式先看一个定义马氏链：设{} ,,,k j i E =为有限集或可列集，称()0n n X ≥为定义在概率空间()P F,,Ω上，取值于空间E 的马氏链，如果满足下面的马氏性：对一切n 10i i i ,,, 有 [][]1n 1n n n 1n 1n 00n n i X i X P i X i X i X P ----======|,,| 若左边的条件概率有定义，则称[]i X j X P 1n n ==-|为在n-1时刻状态为i,在n 时刻在j 的转移概率函数，若它与n 无关，则记为ij p ，并称为时齐的或齐次的。显然这里的马氏性接近于独立性，在一定程度上可以称为无记忆性或无后效性。下面我们来推导贝叶斯公式：容易由条件概率公式定义知而 ()()()()()()( ) ()() ()( ) ()() ( )() ()()() 1 k 1 k 1k k k 1 k k 1k k k 1k k 1k k k 1k k k k k 1k 1k 1k k k 1k k k k k 1k 1k 1k k k 1k 1k 1k k k 1k 1k 1k 1k 1k z x f dx x f x z f x f x z f z f dx x f x z f x z f z f x f x z f x z f dx z x f x z f z x f x z f x f +++++++++++++++++++++++== ? == ?? ?||||||||||||||||||||||||| 就得到了更新后的公式如下：这里记于是就可以得到贝叶斯滤波器跟踪流程如下：实际上可以证明，卡尔曼滤波器是贝叶斯滤波器的一种特殊形式，由于假定噪声服从正态分布，同样地观测与状态估计的误差也是服从正态分布，那么不难得：

视觉跟踪技术发展和难点问题的分析

信息技术与信息化计算机技术与应用 63 　视觉跟踪技术发展和难点问题的分析 The Tendency of the V isual Tracking and the Analysis of Tr oubles 张　进3 ZHAN G J in 摘　要　本文介绍了计算机视觉领域里的一种新兴技术即视觉跟踪技术。其中,主要介绍了视觉跟踪技术的产生、发展,同时也提到了跟踪技术中难点问题和解决思路。关键词　视觉跟踪　目标检测　目标识别　目标跟踪 Abstract I n this paper,it describes a new technol ogy which called visual tracking of the computer visi on field .The text intr oduces that the new technol ogy ’s e mergence and devel opment,at the sa me ti m e,it refers s ome p r oble m s of this technol ogy and how t o res olve these p r oble m s. Keywords V isual tracking Object detecti on Object identificati on Object tracking 3山东建筑大学信电学院　250010 在当今的信息化社会中,随着计算机网络、通信以及微电子技术的发展,计算机图像以其直观形象、内容丰富的特点备受人们青睐。然而,在很多应用领域,人类在全部依赖视觉获得信息的同时,也需要付出艰辛的劳动。需要一种智能计算机系统技术,来模拟人眼获取外界信息图像,并模拟人脑进行视觉信息的分析和理解,从而做出相应的响应,这种技术的研究越来越受到诸多学者专家的厚爱,它就是我要介绍的视觉跟踪技术。视觉跟踪技术用途广泛,目前它已经应用于计算机视觉等许多领域,如:视频监控、视觉用户接口、虚拟现实、智能大楼、基于目标跟踪的视频压缩等。这种技术的研究同时也为高层次的计算机视觉的研究打下基础,如3-D 目标的识别与重建等。 1　研究的主要内容和目的视觉跟踪技术主要完成的工作有以下三个:目标的检测,目标的识别和目标的跟踪。 1.1　目标检测目标检测是从图像序列中将前景运动区域从背景中提取出来。目标检测是运动物体的分类与跟踪以及运动人体动作分析与理解的基础,该阶段处理结果直接影响到后续处理的效果,所以运动检测在人体运动分析中的作用非常重要。然而,实时多变的外界条件如天气,光照,运动物体的影子及混乱干扰的影响给运动检测带来了困难。目前几种常用的运动检测方法有:背景减除法,时域差分法和光流法。 1.2　目标识别目标的识别即目标的分类,一般把检测到的运动目标分为两类:人和非人,其中人体跟踪的目的是从检测的运动区域中将人的运动区域提取出来。常用的分类方法有基于形状特征的分类 (利用检测的运动区域的形状特征进行分类),比如:区域的分散度,面积,宽高比等作为特征;基于运动特性的分类,比如:利用人的运动具有周期性作为特征。为了得到更准确的分类效果,可以将上述两种方法结合起来使用,还可以考虑运动物体的色彩和运动特征。 1.3　目标跟踪运动目标的跟踪是指在连续帧的图像间建立基于位置、形状和颜色等有关特征的匹配问题。简单来说,就是在序列图像中,为运动目标定位。目前视频监控系统己经广泛应用到了对安全要求非常敏感的场合和机构,如银行,商场,飞机场等,但是目前的应用并没有发挥它实时主动的监控作用。因为现阶段的视频监控系统大部分只提供视频录像和回放的功能,往往是当异常事件发生后,相关人员才通过记录的结果来观察曾经发生的事,但此时往往为时己晚。人们需要的监控系统是能够实行实时监控,并能自主分析摄像头捕捉的视频信息,若发生异常情况,可以及时报警,从而避免意外发生,同时也减少了雇佣大量监视人员所需要的物力和财力。 2　视觉跟踪技术的发展近年来,随着运动分析的硬件的发展(包括视频获取设备如摄像头,图像采集卡,处理器和计算机等),基于视频信息的分析迅速渗透到人民生活的各个方面。巨大的商业价值和应用价值使越来越多的公司和学术机构致力于这种技术的研究。美国,英国等国家己经展开了大量相关项目的研究。 1997年,由美国国防高级研究项目署DARP A (Defence Ad 2vanced Research Pr ojects Agency )领头,以美国卡耐基梅隆大学为首,麻省理工学院等高校参与了视频监控系统项目VS AM [1]的研究开发,并于2000年基本完成.此项目主要研究用于战场及普通民用场景进行监控的自动视频理解技术:分布于各个不同位置的摄像头获取的视频信号通过一个分布式的网络连接汇集到操作中心,只需要一个操作人员就可以监控一个相当广阔的空间范

目标检测与跟踪实验报告3 王进

《图像探测、跟踪与识别技术》实验报告专业：探测制导与控制技术学号：11151201 姓名：王进 2014 年11月

实验三复杂场景下目标的检测与跟踪一、实验目的 1. 学习不同目标跟踪算法，对比不同算法对于复杂场景的效果； 2. 学习OpenCV与VS2010的联合编程，提高编程能力。二、实验要求 1. 要求学生至少使用一种目标跟踪算法对视频中出现的目标进行跟踪； 2. 检验所选算法在复杂场景下的效果； 3. 使用VS2010/2012和OpenCV进行编程； 4. 本实验不要求目标检测，所以目标可以手动标出。三、实验步骤 1. 想办法找到目标（可手动框出）。 2. 编写目标跟踪函数代码；四、实验报告 1、CAMSHIFT算法原理 CAMSHIFT算法是利用目标的颜色直方图模型将图像转换为颜色概率分布图，初始化一个搜索窗的大小和位置，并根据上一帧得到的结果自适应调整搜索窗口的位置和大小，从而定位出当前图像中目标的中心位置。这个算法可以分为三个部分： 1、色彩投影图（反向投影）： (1).RGB颜色空间对光照亮度变化较为敏感，为了减少此变化对跟踪效果的影响，首先将图像从RGB空间转换到HSV空间。(2).然后对其中的H分量作直方图，在直方图中代表了不同H分量值出现的概率或者像素个数，就是说可以查找出H分量大小为h的概率或者像素个数，即得到了颜色概率查找表。(3).将图像中每个像素的值用其颜色出现的概率对替换，就得到了颜色概率分布图。这个过程就叫反向投影，颜色概率分布图是一个灰度图像。 2、MEANSHIFT MEANSHIFT算法是一种密度函数梯度估计的非参数方法，通过迭代寻优找到概率分布的极值来定位目标。算法过程为： (1).在颜色概率分布图中选取搜索窗W (2).计算零阶距：计算一阶距：

目标检测、跟踪与识别技术与现代战争

《图像检测、跟踪与识别技术》论文论文题目：图像检测、跟踪与识别技术与现代战争专业：探测制导与控制技术学号：35152129 姓名：刘孝孝

人形目标检测与跟踪

——人形目标检测与跟踪

一、本组研究方案，算法系统框图二、检测算法、原理、程序实现方法、调试过程【视频处理】老师提供的两端视频两段视频并不能直接用来输入OpenCV 所编程序处理，需要将其转化为无压缩的avi 格式。利用软件WinAVI Video Converter ，转换为ZJMedia uncompressed RGB24格式。【背景建模】我们小组利用N 帧图像的平均来求取背景，并实时对背景进行更新。由于考虑到ExhibitionHall.avi 视频中运动物体所占场景比例少，运动轨迹为直线，为了处理的简单，所以在这不刻意区分物体和背景像素点。即(1)(1)()()A A A B k B k I k αα+=-+ ，这里的α 很小（0.003）。【前景提取】灰度图像的处理比彩色图像的处理过程简单。我们小组将读入的彩色图像变成灰度图像，并二值化；同样，背景也进行二值化。两者做差值，得到一些离散的黑白点块。也就

是要识别的目标。但是，这样得到的块是分散开的，程序并不能完整的把它们识别成一个人形，而是一个本来很完整的人形被分块识别成多个目标。为此，我们做了一些简单的后处理。先腐蚀元素，去除不必要的杂点，然后进行膨胀块处理，自定义块的大小，使其膨胀成能被识别成一个人形的目标。另外，我们还做个简单的高斯低通滤波，是得到的结果光滑些。其流程图如右。【目标检测】根据前景处理的结果，得到一些连续的块目标。利用帧间差，可以提取出目标的轮廓。根据轮廓的位置分布，计算出检测目标的形心和大小。并予以标记。【目标跟踪】根据目标帧间的位移差值，可以计算出运动目标在x ，y 方向上的运动速度。可以利用这个关系判断下一帧目标的位置。设置一个合适的阈值，就可以实现目标的跟踪。在此，我们还引入了重叠判断机制。如果目标重叠，即通过遍历，发现块重叠大于一定阈值后，根据前面得到的位置预测判断当前物块位置；如果不重叠，则遍历这幅图像中的所有物块，寻找临近最优物块，以保持编号连续性。在目标跟踪过程中，还进行了Kalman 滤波，对目标轨迹进行滤波处理。目标跟踪 …… 目标 (Id,Pos,Size) 目标 (Id,Pos,Size) 目标 1 目标 (Pos,Size) 目标 (Pos,Size) 目标N 目标 (Pos,Size) 目标 (Pos,Size)

多目标跟踪方法研究综述

经过近４０多年的深入研究和发展，多目标跟踪技术在许多方面都有着广泛应用和发展前景，如军事视觉制导、机器人视觉导航、交通管制、医疗诊断等［１－２］。目前，虽然基于视频的多运动目标跟踪技术已取得了很大的成就，但由于视频中图像的变化和物体运动的复杂性，使得对多运动目标的检测与跟踪变得异常困难，如多目标在运动过程中互遮挡、监控场景的复杂性等问题，解决上述难题一直是该领域所面临的一个巨大挑战，因此，对视频中多目标跟踪技术研究仍然是近年来一个热门的研究课题［３－５］。１、多目标跟踪的一般步骤基于视频的多目标跟踪技术融合了图像处理、模式识别、人工智能、自动控制以及计算机视觉等众多领域中的先进技术和核心思想。不同的多目标跟踪方法其实现步骤有一定的差异，但多目标跟踪的主要流程是相同的，如图１所示，其主要包括图像预处理、运动目标检测、多目标标记与分离、多目标跟踪四个步骤。图１多目标跟踪基本流程图２、多目标跟踪方法多目标跟踪方法可以根据处理图像或视频获取视点的多少分为两大类，一类是单视点的多目标跟踪，另一类就是多视点的多目标跟踪。２．１单视点的方法单视点方法是针对单一相机获取的图像进行多目标的检测和跟踪。该方法好处在于简单且易于开发，但由于有限的视觉信息的获取，很难处理几个目标被遮挡的情况。块跟踪（Ｂｌｏｂ－ｔｒａｃｋｉｎｇ）是一种流行的低成本的跟踪方法［６－７］。这种方法需要首先在每一帧中提取块，然后逐帧寻找相关联的块，从而实现跟踪。例如ＢｒａＭＢＬｅ系统［８］就是一个基于已知的背景模型和被跟踪的人的外表模型计算出块的似然性的多块跟踪器。这种方法最大的不足之处在于：当由于相似性或者遮挡，多个目标合并在一起时，跟踪将导致失败。因此，可以取而代之的方法是通过位置、外观和形状保留清晰目标的状态。文献［９］利用组合椭圆模拟人的形状，用颜色直方图模拟不同人的外观，用一个增强高斯分布模拟背景以便分割目标，一旦场景中发现对应于运动头部的像素，一个ＭＣＭＣ方法就被用于获取多个人的轮廓的最大后验概率，在单相机的多人跟踪应用中取得了非常有意义的结果。Ｏｋｕｍａ等人提出了一种将Ａｄａｂｏｏｓｔ算法和粒子滤波相结合的方法［１０］。该方法由于充分利用了两种方法的优点，相比于单独使用这两种方法本身，大大降低了跟踪失败的情形，同时也解决了在同一框架下检测和一致跟踪的问题。Ｂｒｏｓｔｏｗ等人提出了一个用于在人群中检测单个行人的特征点轨迹聚类的概率框架［１１］。这个框架有一个基本假设是一起运动的点对可能是同一个个体的一部分，并且把它用于检测和最终的跟踪。对于完全和部分遮挡目标以及外观变化，这些方法和另外一些相似的方法都有很大的局限性。为了解决遮挡问题，一系列单视点跟踪技术应运而生。典型的方法是利用块合并来检测遮挡的发生［１２］。当被跟踪的点消失，跟踪特征点的方法就简单的将其作为一个被遮挡特征点。近年来，基于目标轮廓和外观的跟踪技术利用隐含的目标到相机的深度变化来表示和估计目标间的遮挡关系。但大多数方法都只能解决部分遮挡，不能解决完全被遮挡的情况。另外，小的一致运动被假设为是可以从遮挡视点中可以预测运动模式的，这些给没有预测运动的较长时间的遮挡的处理带来问题。尽管这些单视点的方法有较长的研究历史，但这些方法由于不能明锐的观察目标的隐藏部分，因此不能很好地解决有２或３个目标的遮挡问题。２．２多视点的方法随着复杂环境中对检测和跟踪多个被遮挡的人和计算他们的精确位置的需要，多视点的方法成为研究的热点。多视点跟踪技术的目的就是利用不同视点的冗余信息，减少被遮挡的区域，并提供目标和场景的３Ｄ信息。尽管通过相机不能很好地解决目标跟踪问题，但却提出了一些很好的想法，如选择最佳视点，但这些方法都以实际环境模型和相机校正为特征。９０年代后半期，在很多文献中给出了多视点相关的多目标跟踪方法。比如利用一个或多个相机与观察区域相连的状态变化映射，同时给出一系列的行为规则去整合不同相机间的信息。利用颜色在多个视点中进行多目标的跟踪的方法，该方法模拟了从基于颜色直方图技术的背景提取中获得的连接块并应用其去匹配和跟踪目标。除此之外，也有在原来的单视点跟踪系统进行扩展的多视点跟踪方法。该方法主要是通过一个预测，当预测当前的相机不在有一个好的视点时，跟踪就从原来凯斯的那个单相机视点的跟踪转换到另外一个相机，从而实现多视点的跟踪。基于点与它对应的极线的欧氏距离的空间匹配方法、贝叶斯网络和立体相对合并的方法都是多目标多视点跟踪的常见方法。尽管这些方法都试图去解决遮挡问题，但由于遮挡的存在，基于特征的方法都不能根本解决，其次，这些方法中的遮挡关系的推理一般都是根据运动模型，卡尔曼滤波或者更普遍的马尔科夫模型的时间一致性来进行的。因此，当这个过程开始发散，这些方法也不能恢复遮挡关系。最近一种基于几何结构融合多个视点信息的Ｈｏｍｅｇｒａｐｈｉｃｏｃｃｕｐａｎｃｙｃｏｎｓｒｒａｉｎｔ（ＨＯＣ）［１２］方法，可以通过在多场景平台对人的定位来解决遮挡问题。仅采用随时间变化的外表信息用于从背景中检测前景，这使得在拥挤人流的场景中的外表遮挡的解决更健壮。利用多视点中的前景信息，主要是试图找到被人遮挡的场景点的图像位置，然后这些被遮挡的信息用于解决场景中多个人的的遮挡和跟踪问题。在这种思想指导下，Ｍｉｔｔａｌ，Ｌｅｉｂｅ，Ｆｒａｎｃｏ等的研究工作和机器人导航中基于遮挡网格的距离传感器的并行工作是相似的，这些方法在融合３Ｄ空间信息的时候需要进行校正相机。但ＨＯＣ方法是完全基于图像的，仅需要２Ｄ结构信息进行图像平面的融合。当然也有另外一些不需要进行相机校正的算法被提出，但需要学习一个与相机最小相关的信息。在目标跟踪过程中，由于这些方法依赖于单个相机的场景，对于拥挤场景中目标分布密度增加九无能为力了。在ＨＯＣ的多视点的目标跟踪中，对于任何单一相机的场景，或者相机对的场景，都不需要进行定位和跟踪目标，而是从所有相机的场景中收集证据，形成一个统一的框架，由于该方法能够从多个时间帧的场景中进行场景被遮挡概率的全局轨迹优化，因此可以同时进行检测和跟踪。３、总结动态目标检测与跟踪是智能监控系统的重要组成部分，它融合了图像处理、模式识别、自动控制及计算机应用等相关领域的先进技术和研究成果，是计算机视觉和图像编码研究领域的一个重要课题，在军事武器、工业监控、交通管理等领域都有广泛的应用。尤其是对于多目标检测与跟踪中的遮挡与被遮挡的处理，对提高智能监控中目标的行为分析有着重要的意义。随着监控设备的发展和设施的铺设，多视点的场景图像是很容易得到的，因此借助信息融合的思想，充分利用不同角度对目标的描述信息，可以很大地改进目前基于单视点的多目标检测和跟踪的精度，能够很好地解决单视点方法中不能很好解决的遮挡问题。参考文献［１］胡斌，何克忠．计算机视觉在室外移动机器人中的应用．自动化学报，２００６，３２（５）：７７４－７８４．［２］Ａ．Ｏｔｔｌｉｋ，Ｈ．－Ｈ．Ｎａｇｅｌ．ＩｎｉｔｉａｌｉｚａｔｉｏｎｏｆＭｏｄｅｌ－ＢａｓｅｄＶｅｈｉｃｌｅＴｒａｃｋｉｎｇｉｎＶｉｄｅｏＳｅｑｕｅｎｃｅｓｏｆＩｎｎｅｒ－ＣｉｔｙＩｎｔｅｒｓｅｃｔｉｏｎｓ．ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，２００８，８０（２）：２１１－２２５．多目标跟踪方法研究综述苏州联讯图创软件有限责任公司陈宁强［摘要］文章对目前现有的多目标跟踪方法从信息获取的不同角度进行了综述。主要分析比较了目前单视点和多视点目标跟踪方法对于目标遮挡问题的处理性能，并指出多视点的基于多源信息融合的思想，可以较好地解决场景中目标的遮挡问题。［关键词］单视点多视点目标跟踪信息融合基金项目：本文系江苏省自然科学基金（ＢＫ２００９５９３）。作者简介：陈宁强（１９７３－），男，江苏苏州人，工程师，主要研究方向：ＧＩＳ、模式识别和图像处理与分析。目标跟踪多目标标记与分离匹配目标模型运动检测当前帧图像背景提取去噪ＲＯＩ预处理视频序列（下转第２６页）

(目标管理)目标检测、跟踪与识别技术与战争

（目标管理）目标检测、跟踪与识别技术与战争

《图像检测、跟踪和识别技术》论文论文题目：图像检测、跟踪和识别技术和现代战争专业：探测制导和控制技术学号：35152129 姓名：刘孝孝目标检测、跟踪和识别技术和现代战争【摘要】本文讨论目标检测、跟踪和识别技术于现代战争各个领域中的应用，总结目标识别技术的发展方向，提出目标识别技术工程化实现方法，同时本文介绍了国外目标识别的现状及发展趋势，提出了现代战争应采用综合识别系统解决目标识别问题的建议。关键词目标检测；目标跟踪；目标识别；雷达；人工神经网络；精确制导 1．引言随着现代科学技术的飞速发展及其于军事领域内日益广泛的应用，传统的作战思想、作战方式已发生根本性的变化。从第壹次海湾战争到科索沃战争，特别是刚刚结束的海湾战争，空中精确打击和空地壹体化作战已经成为最重要的作战形式。集指挥、控制、通信、计算机、情报、监视侦察于壹体的CISR已成为取得战场主动权，赢得最后胜利的关键因素。目标识别技术是雷达智能化、信息化的重要技术支撑手段。于现代化战争中，目标识别技术于预警探测、精确制导、战场指挥和侦察、敌我识别等军事领域均有广泛的应用前景，已受到了世界各国的关注。现代战争中取得战场制信息权的关键之壹是目标属性识别。现代战争的作战环境十分复杂，作战双方均于采用相应的伪装、隐蔽、欺骗和干扰等手段和技术，进行识别和反识别斗争。因此仅仅依靠壹种或少数几种识别手段很难准确地进行目标识别，必须利用多个和多类

传感器所收集到的多种目标属性信息，综合出准确的目标属性，进行目标检测，跟踪后进行识别。 2．目标检测、跟踪和识别技术于现代战争中的应用 2．1目标检测、跟踪和识别技术于预警探测上的应用目标检测、跟踪和识别技术对于弹道导弹的预警工作有重要的作用。弹道导弹壹般携带多个弹头，其中可能包含核弹头或大规模杀伤的弹头以及常规弹头，预警雷达必须具备对目标进行分类和识别真假弹头的能力，将核弹头或大规模杀伤的弹头分离出来，为弹道导弹防御(BMD)系统进行目标攻击和火力分配提供依据。早期的BMD系统假设只有壹个核弹头，多弹头分导技术的出现，使问题转化为雷达的多目标识别问题，加上电子对抗技术的广泛使用，给目标识别技术带来很大困难。另外，预警雷达仍要对空中目标或低空目标进行探测，对来袭目标群进行分类识别。利用星载雷达以及远程光学望远镜等观测设备，能够对外空目标进行探测，对外空来袭目标进行分类和识别，达到早期预警的工作。 2．2目标检测、跟踪和识别技术于精确制导上的应用精确制导方式很多，包括主动式、半主动式和被动式寻的制导方式，通过设于精确制导武器外部的制导站的遥控制导方式，利用地形(高度)匹配和景像(灰度)匹配制导方式，只依靠弹上惯性部件提供制导数据，而不依赖外部信息的惯性制导方式，利用卫星定位(GPS)系统的GPS制导方式。任何壹种制导方式均有其优缺点，壹般来讲，远程精确制导武器均采用俩种之上的制导方式构成复合制导系统，这样不仅能提高制导精度而且也能增强抗干扰能力。于导弹飞行中对目标进行识别，然后进行攻击的技术已经成为这个领域的壹个研究热点，目标成像识别技术将是当前的发展方向。大量的研究试验表明，采用高分辨率雷达获得目标的壹维或二维图像，可使目标识别变得简易而清晰。如美军研制的反导系统陆基相控阵雷达，采用宽带逆合成孔径(ISAR)技术，即利用“距离壹多普勒”的原理，实现对活动目标的雷达

目标检测与跟踪方法在自动跟踪装置中的应用

第33卷增刊2007年11月光学技术OPTICAL TECHN IQU E Vol.33Suppl. Nov.　2007 文章编号:100221582(2007)S 20069203 目标检测与跟踪方法在自动跟踪装置中的应用 Ξ 伍翔,霍炬,杨明,董红红 (哈尔滨工业大学控制与仿真中心,哈尔滨　150082) 摘　要:介绍了一种应用于自动跟踪装置上的运动背景下目标检测与跟踪的方法,采用仿射模型作背景运动估计进行检测以及mean 2shift 算法跟踪目标,并将该方法应用到一套自动跟踪系统实验平台上。关键词:仿射模型;mean 2shift 算法;自动跟踪装置中图分类号:TP751 文献标识码:A Application of a moving target detecting and tracking method in the automatic 2tracking equipment WU X iang ,H UO J u ,Y ANG Ming ,DONG H ong 2hong (Control and Simulation Center ,Harbin Institute of Technology ,Harbin 150082,China ) Abstract :This paper presents a moving target detecting and tracking method in moving background for the automatic 2tracking equipment.It uses affine model to estimate the moving character of the background for detecting ,and uses mean 2shift algorithm for tracking.An automatic 2tracking experimental system is realized by using this method. K ey w ords :affine model ;mean 2shift algorithm ;automatic 2tracking equipment 0　引　言基于图像处理的运动目标检测与跟踪,作为图像处理技术的一个分支,由于其在民用和军用上的广泛应用 [1,2] ,也逐渐成为研究的热点。本文主要针对自动跟踪装置,研究与设计一种图像处理的方法,实现运动背景下运动目标检测与跟踪,并应用到所搭建的自动跟踪仿真系统中。 1　自动跟踪系统实验平台利用图像处理的方法实现自动跟踪功能的跟踪系统一般由摄像机、图像采集卡、计算机、伺服系统几部分组成。摄像机、图像采集卡以及计算机都装载在伺服系统上,当摄像机的视野中出现运动目标时,计算机对图像采集卡采集到的图像进行处理分析,得出运动目标的位置等信息,传递给伺服系统,伺服系统带动相机跟踪目标,使得目标始终保持在视野的中心。图1　自动跟踪系统实验平台结构框图图1即为所搭建的自动跟踪系统实验平台的结构框图, 该平台是专门根据自动跟踪装置的结构和特点设计的,对自动跟踪装置进行模拟。由图1可知,在计算机上实现的图像处理部分,是整个系统的关键。它所要完成的功能是从采集图2　图像处理部分基本流程到的每幅视频图像中找出运动目标的位置,即运动目标的检测与跟踪。它主要包括两方面:第一,运动目标的检测与提取;第二,目标跟踪。其处理流程图如图2所示。 2　运动目标检测 2.1　背景模型选取根据摄像机相对于场景的运动情况可以将运动目标检测分为静止背景下运动目标检测和运动背景下运动目标检测两种。由自动跟踪装置的特性可知,在跟踪目标的过程中,摄像机随着伺服系统一起运动,所以应该考虑的是运动背景下运动目标的检测。本文采用的是运用背景运动估计进行建模的思想,将两帧图像之间的背景运动关系用仿射变换表示,建立一个仿射运动参数模型。如 x k +1=a 1x k +a 2y k +d x y k +1=a 3x k +a 4y k +d y (1) 9 6Ξ收稿日期:2006212211 E 2m ail :wuxiang602@https://www.360docs.net/doc/8519074855.html, 基金项目:国家自然科学基金资助(60434010) 作者简介:伍翔(19842),男,苗族,湖南省人,哈尔滨工业大学硕士研究生,从事图像处理研究。