人体运动的检测和识别研究

模式识别中文核心期刊《微计算机信息》（测控自动＇ｆ：．１５）２００８年第２４卷第２－１期文章编号：１００８—０５７０（２００８）０２…１０２１００２

人体运动的检测和识别研究

ＳｔｕｄｙｏｎＤｅｔｅｃｔｉｏｎａｎｄＩｄｅｎｔｉｆｉｃａｔｉｏｎｏｆＨｕｍａｎＭｏｖｅｍｅｎｔ

（北京榭吏大学）宋修雷王志良

ＳＯＮＧＸＩＵＬＥＩＷＡＮＧＺＨＩＬＩＡＮＧ

摘要：本文针对人体运动视觉分析中的行为理解和分析等高层视觉问题进行分析，研究了一种静止摄像机条件下的行为理解和分析的算法，它以运动序列中的关键帧为基础，针对关键帧提取人体的骨架信息，然后通过Ｈｕ不变矩来提取特征，最后组成特征向量，通过对ＨＭＭ模型的训练来识别特定运动序列的语义。

关键词：运动识别：计算机视觉；Ｉ－ＥＶｌｌＭ

中图分类号：ＴＰ３９１．４文献标识码：Ａ

Ａｂｓｔｒａｃｔ：Ｔｈｉｓｐａｐｅｒｆｏｃｕｓｅｓｏｎｖｉｓｕａｌａｎａｌｙｓｉｓｏｆｈｕｍａｎｍｏｖｅｍｅｎｔａｎｄｔｈｅｕｎｄｅｒｓｔａｎｄｉｎｇｏｆｈｉｇｈｌｅｖｅｌｖｉｓｕａｌｐｒｏｂｌｅｍｓ．Ｉｔｇｉｖｅｓａｎａｌｇｏｒｉｓｍｔｏｃｏｍｐｒｅｈｅｎｄ

ａｎｄａｎａｌｙｓｉｓｐｅｏｐｌｅＳｍｏｖｅｍｅｎｔｉｆｔｈｅｃａｍｅｒａｉｓｎｏｔｍｏｖｅｄ．Ｗｅｐｒｅｓｅｎｔａｎａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｋｅｙｆｒａｍｅｓ，ｔｈｉｓｔｅｃｈｎｉｑｕｅｃａｎｂｅｍｏｒｅｅｆｆｅｃｔｉｖｅｉｎｔｈｅｏｒｉｇｉｎａｌｓｅｑｕｅｎｃｅｂｙｒｅｄｕｃｉｎｇｔｈｅｉｎｔｅｒｆｅｒｅｎｃｅｏｆｄｅｔｅｃｔｉｏｎａｎｄｉｄｅｎｔｉｆｉｃａｔｉｏｎ．

Ｋｅｙｗｏｒｄｓ：ｍｏｖｅｍｅｎｔｉｄｅｎｔｉｆｉｃａｔｉｏｎ，ｃｏｍｐｕｔｅｒｖｉｓｉｏｎ，ＨＭＭ

１引言

计算机视觉是计算机科学和人工智能领域的一个重要分支．它研究的主要内容是怎样利用各种成像系统代替视觉器官作为信号输入手段，用计算机代替大脑完成对信息的处理和解释。计算机视觉的最终研究目标，就是使计算机能象人那样通过视觉观察和理解世界。

运动物体的检测、跟踪和行为的理解与描述是计算机视觉领域的一个重要课题。也是计算机能否象人那样通过视觉观察和理解世界的关键所在。目前在运动物体检测领域，国内外有关这方面的研究很多，但是目前的许多方法都受到了一定条件的局限性。比如我们在使用背景差对运动目标进行检测时，发现了这种方法受光线亮度变化的影响很大，同时当背景中有物体移人或移出时．这种方法检测的效果正确性受到很大影响。对行为的理解与描述国内外的文献相对较少。可以说是一个比检测和跟踪更加困难的研究领域。针对这些问题，我们提出一种能够在简单背景下对人体行为进行理解和描述的方法。该方法将运动的检测、跟踪和行为的理解和描述联系到一起，使两者相辅相成。解决了两者分离情况下研究中的难点问题。

２关键帧算法

直接比较的人体的运动来识别运动的语义是不可能的，因为人体区域随着肢体的摆动而呈现非刚性的变化。这里我们对运动序列进行分解，原则是提取运动序列中的关键帧进行分析。关键帧的定义是在运动方向发生变化的时刻对应的图像帧。从运动中来看，运动方向发生变化的时刻，必定是序列图像在水平或者是垂直方向的投影在时间轴上出现了极值。所以我们就可

宋修雷：硕士研究生

基金项目：本论文得到国家自然科学基金（Ｎ０．６０５７３０５９）、

北京市“现代信息科学与网络技术”重点实验室基金

（Ｎｏ．ＴＤＸＸ０５０３）和北京科技大学重点基金的支持以根据这条规则来从运动序列中提取关键帧。一个完整的具有具体语义的运动序列可以由一个相对应的关键帧序列来表示。

通过关键帧的方法完成了对运动序列的第一次特征提取。图１是对关键帧提取的一个示例。图２是一个行走运动序列的关键帧表示。

图１关键帧的提取

彳彳ｋｋ

图２行走运动序列的关键帧表示

３特征提取

３．１骨架算法

首先要从待处理的序列图像中抽取出目标人体的轮廓，获

一２１０—３６０元，年邮局订阅号：８２－９４６　

万方数据

隧瓣瓣黧黼溺鬻糕黎§豢。瓣渊

模式识别

得对应的二值图像。由于研究对象——人体保持运动状态，首

同目标图像区域计算其不变矩，并以不变矩作为特征量来对具先可以利用运动信息把人体运动部分从复杂背景中提取出来，有旋转和尺度变化的目标图像进行识别。

然后利用运动部分的位置和灰度信息，获得人体轮廓的二值图概率密度分布函数为ｆ（ｘ，ｙ）的二维连续随机函数的ｐ＋ｑ阶像。具体过程如下：

规则矩（也称几何矩）ｍ。的定义为：

（１）对相邻两帧图像进行差分运算，抽取其运动部分，统计ｍ。＝．１。ｊ。ｘＰｙ４，（工，ｙ）ｄｘｄｙＰ，ｑ：０，１…２．

运动部分的灰度信息。

二维ＭｘＮ数字化图像ｆ（ｍ，ｎ）的规则矩定义为：

（２）利用运动部分的灰度信息，根据第１步的结果提取人体轮廓。

（３）抽取出人体轮廓后，对图像做二值化处理。

ｆ０，点（ｘ，ｙ）∈轮廓区域

ｇ【工＇＂２１１，点（‘ｙ）正轮廓区域

得到人体轮廓二值图像。

对于彩色图像，算法原理不变，进行比较的信息则由灰度变成对应像素点的ＲＧＢ值。人体运动具有多样性和复杂性，人体轮廓作为一种复杂模式，单凭某一种信息（灰度或彩色信息）和某一种方法很难得出很精确的结果。在后续算法中给出的用于提取人体轮廓的虚拟骨架的能量函数法对图像噪声有很好的抑制作用，因此，由上述方法所抽取的人体轮廓在精度上完全可以满足后续算法的需要。

利用已得到有关人体轮廓的二值图像Ｉ（ｘ，ｙ）：

，，…、一ｆｏ，像素（ｘ，ｙ）在人体轮廓区域内

ｕ“川一１１，像素（ｚ，ｙ）在人体轮廓区域外

定义如下的能量函数

Ｅ（ｘ，Ｙ，，）＝ＩＩ．（ｒ一√“２＋ｖ２），（ｘ＋甜，Ｙ＋ｖ）ｄｕｄｖ一二＿一

式中积分区域Ｄ为位于人体轮廓内部的、圆心Ｐ（ｘ，Ｙ）和半径ｒ均可改变的一个圆形区域。在上述能量函数中，第１项的目的是使所设定的圆形区域保持在人体的内部．第２项的目的是使该圆的半径ｒ达到极大值，其中，仪为一个常量，用来调整所述圆形积分区域的半径对能量函数的影响，它的取值与图像的平均灰度有关．一般取２或３。当ｘ’Ｙ和ｒ的取值使能量函数￡（ｘ，Ｙ，ｒ）达到最小时，上述积分圆形区域Ｄ的圆心Ｐ（ｘ，ｙ）位于轮廓中轴线上．半径ｒ的取值则使圆的外缘和人体轮廓线切。

如图３所示．据此可以确定虚拟骨架上的一个一个的点。

（ａ１，㈣为相邻两帧图像，（ｃ）为差分图像，（ｄ）为提取的人体轮廓，

（ｅ）为抽取的虚拟骨架和关节点的位置，（Ｄ为与真实关节位置的比较。

ａ＝３．Ｋ－－Ｏ０８

图３实验室环境下骨架提取

３．２不变矩特征

这里我们假设同一物体的图像序列之间只相差一个旋转、平移和尺度变换，即同一物体的不同图像差别有物体摆放的方向、位置或摄像机与物体间距离不同引起的尺度不同。因此可

以找到一些不变量。这些量只与物体形状有关与它们的位置、方

位、尺度无关，这就是矩不变量。矩不变量是目标图像的一种区域描述，也是目标的特征匹配的常用方法。由于它对平移、旋转

和尺度变化的目标具有不变性，因此可以对经区域分割得到不

聊ｗ

２萎善∥矿，（％川Ｍ＝ｏ＇１，２…

阶次为ｎ的规则矩的完备集包括所有满Ｐ＋ｑ≤ｎ条件的

ｉｎ。，因而共有妻ｏ＋１）０＋２）个元素。单项式乘积ｘｐｙｕ和ｍ啊ｕ是

这种矩定义的基底函数。

既然一幅图像具有有限的面积，并且在最坏的情况下也是分段连续的，那么所有阶的规则矩都存在，所求得的矩集可唯一描述该幅图像所包含的信息。要将一幅图中的信息全部表征出来需要无限多的矩值，对于实际应用来讲，需要选取矩集的一个子集．只要这个子集对于某个特定应用包含表征该图像的足够有用信息就可以了。

两个一阶矩｛ｍｏ，，ｍ，。｝用来确定目标的质心。质心的坐标６，Ｙ一）给出了二条分别平行于ｘ轴和ｙ轴的直线Ｘ＝Ｘ一和ｙ＝歹的交点。

质心坐标由下式计算：

；：鱼

了：塑

ｍ００

．

ｍ００

如果目标的质心与坐标系的原点重合，即；＝ｏ和；＝ｏ，那么

由此求得的矩值称为中心矩，由‰表示：

％２ＬＬ

ｏ一工）’（ｙ—ｙ）９，（工，ｙ）ｄｘｄｙ

Ｈｕ定义了由三阶规格化后的中心矩的非线性组合构成的七个量值，它们对目标的位置，尺度和方向的变化保持不变。在得到人体的骨架信息后。我们提取骨架图像的７个ｈｕ不变矩作为特征向量．至此就完成了对运动序列的分解和特征提取．为ＨＭＭ的学习和训练做好了准备。

４原型设计

人体运动检测和识别的原型系统包括以下几个模块：数据采集模块，图像预处理模块，关键帧提取模块，人体骨架提取模块，不变矩计算模块，ＨＭＭ训练和识别模块。如图４所示。

图４人体运动检测和识别流程图

吓转第２９１页）

ｒ—————————————ｒ——————一…一１｝《阻ｃ技术廒瓣２∞例》ｉ

ｎｌｌｌ摸Ｊｌ邮局订阅号：８２－９４６

３６。，Ｌ／－ｑ－一２１ｌ一

　

万方数据

鼬婆塞堡型塑墼鳖塞差鎏｛

软件天地

向为飞机推进系统稳定性。李军，男，（１９６４．２－），汉，教授，主要研作者简介：邹滨（１９８１一），男，湖南常德人，讲师，博士，研究方向：究方向为飞机推进系统稳定性。

ＧＩＳ理论与应用、生态环境遥感。

Ｂｉｏｇｒａｐｈｙ：ＷａｎｇＬｅｍｉｎｇ：ｍａｌｅ，（１９８１．１１一），ｔｈｅ

Ｈａｎｎａｔｉｏｎａｌｉ－（４１００８３湖南中南大学）邹滨

ｔｙ，ｍａｓｔｅｒＰｏｓｔｇｒａｄｕａｔｅ，Ｍａｊｏｒ

ｉｎ

ｓｔｕｄｙｉｎｇ

ｏｆ

ｔｈｅ

ａｖｉａｔｉｏｎ（４１００８３湖南东北师范大学）杨令宾佟志军张继权

ｐｒｏｐｕｌｓｉｏｎ

ｓｙｓｔｅｍ

ｓｔａｂｉｌｉｔｙ?Ｌｉ

Ｊｕｎ，ｍａｌｅ，（１９６４?２一），ｔｈｅＨａｎ

通讯地址：（４１００８３湖南省长沙市岳麓区中南大学本部采矿

ｎａｎｏｎ射１ｔｙ，粤譬ｓ０。，

ＭａＪｏｒ

ｍ吼ｕｄｙｍｇｏｆｔｈ８

ａｖｌａｎｏｎ

ｐｒｏｐｕｌ。

楼４１９）邹滨

（７ｌ∞；８陕西陕蔷西安空军工程大学工程学院）王乐明李军（收稿日期：２００７?¨?０３）“彦稿日期：２００８．０Ｈ５）

需嚣：（飞军７１００代３８墓兰貔３－程学院研姓１１眦乐明（上接第２?，页）通讯地址

空军工程大学程学院研究生

队）王乐明卜‘一一’…‘“７

（收稿日期：２００７．１１．０３）（修稿日期：２００８．０１．１５）

（上接第１８４页）

图６空间数据共享实验平台下的服务集成效果本文作者的创新点是：将ＷｅｂＳｅｒｖｉｃｅ技术引入到传统的ＷｅｂＧＩＳ二次开发组件构建了一种新型空间数据共享模式．并

以ＡｒｃｌＭＳ

ＷｅｂＳｅｒｖｉｃｅ和ＧｅｏＢｅａｎｓＷｅｂＳｅｒｖｉｃｅ为例开展了分

布、异构空间数据共享实验，为打破传统的空间数据共享壁垒提供了一种新的解决思路。参考文献：

［１１何建邦，吴平生问国年．地理信息共享方法研究［Ｍ】．北京：科学

出版社，２００３．

［２】陈述彭．“数字鸿沟”与地球信息科学的应对田．’钡９绘科学，２００３，２８（３）：１－４．

【３】龚健雅．当代ＧＩＳ的若干理论与技术［Ｍ】．武汉：测绘科技大学出版社，１９９９．

ｆ４】蒋红兵，蒙印．ＷｅｂＧＩＳ的空间数据共享与互操作［Ｊ】．四川测绘，２００５，２８（１）：２０－２２．

【５】沈体雁，程承旗．基于空间元数据的分布式地理模型及应用研究【Ｊ】坝８绘通报，１９９９，７：３４—３７．

［６］马林兵，齐华．基于可重用ＷｅｂＳｅｒｖｉｃｅ的ＧＩＳ数据集成和共享【Ｊ】．铁路航测，２００３，２：１－３．

［７】孙华峰，钱雪忠．一种基于Ｗｅｂ服务的服务组合体系结构叨微计算机信息，２００６，２２（５—３）：７９—８１．

ｆ８】岳小婷，李森．深入理解ＷＥＢＳＥＲＶＩＣＥ［Ｊ］．新疆师范大学学报，２００３，２２（１）：２２－２８．

【９１ＷＡＮＧＨｏｎｇｂｉｎｇ．Ｗｅｂｓｅｒｖｉｃｅｓ：ｐｒｏｂｌｅｍｓａｎｄｆｕｔｕｒｅｄｉｒｅｃｔｉｏｎｓ

阴．Ｗｅｂ

Ｓｅｍａｎｔｉｃｓ：Ｓｃｉｅｎｃｅ

２００４，ｌ（３）：３０９?３２０．

【ｌＯ】许春杰，邹乐君．基于ＷｅｂＳｅｒｖｉｃｅ的ＷｅｂＧＩＳ数据共享研究叨．测绘通报，２００３，１：４１－－４３．［１１ｍＡＷｅｎｊｕｅ，ＣＨＥＮ

Ｙｕｍｉｎ，ＧＯＮＧ

Ｊｉａｎｙａ．Ｉｍｐｌｅｍｅｎｆａ

ｔｉｏｎｏｆ

ＯＧＣＷｅｂＭａｐＳｅｒｖｉｃｅＢａｓｅｄＯｎＷｅｂＳｅｒｖｉｃｅ［Ｊ１．ＧｅｏｓｐａｔｉａｌＩｎ－

ｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ，２００４，７（２）：１４８—１５２．

图５对行走的识别图

图５是我们所设计的原型系统的界面图。从图中可以看出我们的原型系统可以比较准确的识别出人体的行走动作。

本文作者创新点：我们给出了一种对人体运动进行检测和

识别的方法。该方法对对简单背景下单人运动序列的识别具备良好的适应性。但是对于多人，运动不规范的条件下，还有许多

工作要做。对于人体运动检测和识别的未来。作者认为以下的几个方面值得重点关注：

（１）在运动序列语义的描述方法上面，基于关键帧的算法虽然可以很好的体现运动序列的前后关系，但是对于相邻关键帧之间的信息没有做到充分的利用。这将是今后一个值得深入研究的课题。

（２）基于ＨＭＭ的建模技术，本文主要是应用离散模型。由于人体运动的多样性和复杂性，本文给出的模型仍然需要进行相应的改进。参考文献：

【ｌ】张雷，刘冀伟，王志良．固定场景下的运动检测与运动跟踪阴微计算机信息，２００６，９—１：２８７—２８９。

作者简介：宋修雷，１９８１年生，男，硕士研究生，研究方向：图像处理和机器视觉，王志良，１９５６年生，男，博士生导师，北京科技大学教授，研究方向：人工智能与人工心理。

Ｂｉｏｇｒａｐｈｙ：Ｓｏｎｇ

Ｘｉｕｌｅｉ（１９８１一），Ｍａｌｅ，Ｂｅｉｊｉｎｇ，Ｕｎｉｖｅｒｓｉｔｙｏｆ

Ｓｃｉ?

ｅｎｃｅ

ａｎｄＴｅｃｈｎｏｌｏｇｙＢｅｒｉｎｇ，Ｍａｓｔｅｒ，Ｐａｔｔｅｒｎ

Ｒｅｃｏｇｎｉｔｉｏｎａｎｄ

ＩｎｔｅｌｌｉｇｅｎｔＳｙｓｔｅｍｓ，Ｉｎｔｅｒｅｓｔｉｎｇｆｉｅｌｄｓ：ＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ，Ｍａｃｈｉｎｅ

Ｖｉｓｉｏｎ．

（１０００８３北京市北京科技大学信息工程学院）宋修雷王志良通讯地址：００００８３北京北京科技大学１１２＃信箱）宋修雷

（收稿日期：２００７．１１．０３）（修稿日期：２００８．０１．１５）

｜＜ＰＬＣ技窳斑溺２００例》｛

＠畔一邮局订眠８２艄３６０元／彩１一

　万方数据

人体运动的检测和识别研究

作者：宋修雷， 王志良， SONG XIULEI， WANG ZHILIANG

作者单位：北京科技大学信息工程学院,北京市,100083

刊名：

微计算机信息

英文刊名：CONTROL & AUTOMATION

年，卷(期)：2008，24(4)

被引用次数：0次

参考文献(1条)

1.张雷.刘冀伟.王志良固定场景下的运动检测与运动跟踪[期刊论文]-微计算机信息 2006

相似文献(10条)

1.学位论文苏国辉基于视频的人体运动识别系统研究2007

随着计算机视觉和图像处理技术的不断发展，基于视频的人体运动识别、跟踪和分析已成为计算机视觉领域的一个备受关注的研究方向，其在智能监控、人机接口、体育性能分析、医疗诊断、基于内容的图像存储和检索以及视频会议等方面都有着广阔的应用前景。目前，基于视频的人体运动识别分析大致分为三个步骤：第一步，从复杂背景中提取出运动人体；第二步，人体运动跟踪与重构；第三步，人的行为识别与理解。前面两步是第三步的基础，因而目前的研究主要集中在前面两步当中。

本文提出了一种基于平行双目视觉模型的人体运动分析方法。首先，对于输入的人体运动视频图像序列，通过基于背景减除的方法获得初步的人体轮廓，再利用数学形态学里的闭运算和开运算去除噪声区域和填充人体内部的空洞区域，将运动人体从背景中提取出来。获得人体轮廓图像后，对于人机交互的场合，论文提出了一种基于模板匹配的简单人体姿态识别方法，该方法主要以人体轮廓图像的几何矩作为特征，与事先通过训练建立好的人体姿态库中的标准姿态进行比较，判断出该人体姿态的类型。此外，论文还介绍了基于几何矩和方向直方图的手势识别方法。

在获取人体轮廓的基础上，提出了一种基于LK光流和Kalman滤波器的人体运动跟踪方法。首先建立一个基于关节点的人体二维骨架模型，在运动的首帧通过自动标注的方法确定人体关节点的位置，在后续帧采用LK光流算法跟踪标注的关节点，并利用Kalman滤波器修正跟踪出错的关节点。提出的人体模型关节点的自动标注方法在一定程度上减少了系统中的人工干预。

获得人体二维骨架运动序列后，建立平行双目视觉模型对各关节点进行重建。首先利用张正友标定对摄像机进行标定，得到摄像机的内部参数，其后通过立体匹配确定关节点在左右摄像机图像当中的图像像素坐标，进而实现对关节点的三维重建，恢复人体三维姿态。

最后，在Visual C++环境下编程实现了人体运动识别系统。实验结果表明，本文提出的人体运动分析识别的方法是行之有效的，并为进一步的研究奠定了良好的基础。

2.学位论文李振波低维空间人体运动分析技术研究2007

在计算机中生成满足人们需要的三维人体运动是一项长期而艰巨的任务.近年来,随着计算机动画、虚拟现实、游戏、影视等产业的不断发展,人们对研究三维空间中的人体运动产生了浓厚的兴趣.但由于描述人体运动的状态空间维数非常高,运动状态空间非常巨大(从优美的舞蹈动作到激烈的体育比赛,无不是人体运动状态空间的子空间),使得三维空间中人体运动的生成变得非常困难.

当前运动捕捉技术已经成为获取真实的人体运动信息的主流技术,运动捕获数据真实地反映了人体的运动过程.由于运动数据中包含了人体关节点的三维运动信息,它具有传统的二维图像运动分析所不具有的真实、准确的优点.经过近十年的发展,人们已经积累了大量的运动捕获数据,从运动数据出发建立人体运动分析模型或者统计模型的研究条件已经具备.

三维空间人体运动的特点是运动是多刚体、多自由度的,对其直接分析具有很大的难度.但同时我们注意到人体运动具有一定的规律性,如在走路过程中,人体上肢与下肢的运动关系遵循一定的运动模式.通过对人体运动的这种规律性知识的学习可以建立人体运动的分析模型或者统计模型.这种运动分析模型或者统计模型对于计算机视觉中的人体运动跟踪、运动识别以及计算机动画制作都是十分重要的.在人体运动跟踪中加入人体运动的先验知识可以极大地提高运动跟踪的效率和准确性.通过对给定的人体运动先验模型的似然观察可以对指定的运动进行分类和识别.另外,在计算机动画中这种模型可以用于减少生成运动的状态空间,提高动画制作的自动化程度.

建立人体运动分析模型或者统计模型过程中一个很重要的方法是对人体运动的状态空间进行降维表示.本文从理论和实际应用的角度,对低维空间中的人体运动分析技术进行了研究.本文研究的目的是通过运动状态空间降维,在低维空间对运动的特征及规律进行描述,为运动跟踪及运动合成等提供先验知识,本文的主要贡献如下:

1.提出了建立包括现象模型和解剖模型的分层结构的三维人体运动模型表示思想.针对当前不同系统中三维人体运动模型表示不统一的问题,定义了两种层次的人体运动表示模型.同时在运动模型中引入特定运动的统计特征,增加了相应运动的动态约束条件.这种分层结构的运动模型可以满足不同应用的需求.

2.提出人体运动虚关节的概念,利用线性方法对人体运动的状态空间进行降维表示,将高维的运动数据映射到低维空间.并在此基础上提出了一种利用运动数据产生不同级别真实感人体运动的方法,提出了低维空间中人体运动周期的获取策略和在低维空间利用运动数据进行身份识别的方法.

3.提出了利用高斯过程动态模型(Gaussian Process Dynamical Model,GPDM)和三维曲线矩不变量(3D Curve Moment Invariant)进行运动的非线性低维描述的方法,高斯过程动态模型可以对运动序列进行非线性学习,获取低维空间的非线性运动特征,三维曲线矩不变量用来对获取的三维空间隐式曲线进行几何描述,从而实现在非线性隐式空间进行运动的特征描述和识别;

4.提出了一种空间投影模型,建立了基于投影图像的人体运动识别方法,将三维空间的人体姿态和运动识别问题转化为二维空间投影图像之间的特征提取和匹配,实现了基于姿态投影的运动识别原型系统.

3.学位论文向坚基于三维捕获数据的人体运动分析关键技术研究2007

二十世纪九十年代以来，随着运动捕获技术的兴起，以及设备技术的进步，大量的三维人体运动捕获数据生成，并被广泛的应用在计算机动画，游戏，医学仿真，电影特技等领域。在此背景下，基于运动捕获数据的研究，已经成为近年来计算机视觉，图形学研究领域和动漫应用领域的一大热点。 随着大量三维人体运动捕获数据库的出现，使得如何对人体运动数据进行高效分析和处理，从而有效利用运动捕获数据库成为一个新的挑战。在这些挑战中，如何从复杂的人体运动中找到能正确表达运动信息的本质特征，如何从浩如烟海的运动数据中检索出用户所需要的运动，以及如何去合理高效的重用处理后的运动数据，都是该领域关心的热点问题。

本论文的目的是针对基于三维捕获数据的人体运动分析处理技术的上述关键问题，研究如何正确的提取人体运动的特征，如何不失真的对运动数据进行降维以及索引，探索如何用机器学习的方法对运动库的数据进行自动分析，以及如何结合子空间的方法对人体运动进行编辑和合成，从而实现利用运动捕获数据库进行动漫创作，电影特技制作等实际应用。主要完成了以下工作：

1．运动捕获数据的特征提取。不同于传统的运动特征提取方法，考虑运动的几何结构能够较真实地反映运动内在属性。二维的几何特征只能较好的表达运动的局部几何结构，本文提出的三维时空特征则从全局几何结构角度出发，不仅能够有效表达各个关节点独立运动信息，而且能够反映关节点之间相互作用的运动属性。

2．运动的特征数据的降维和分段。提取出来运动特征维数较高，为了克服维数灾难，实现运动数据的识别和检索，本文利用主成分分析(Principal ComponentsAnalysis，PCA)和扩展等距特征映射(Isometric Feature Mapping，ISOMAP)方法对高维运动特征进行线性和非线性降维。同时，对于长运动

序列，还利用上述方法对运动数据在子空间进行分段，将其分解为单个运动类型的短运动片段，以利于后续分析和处理。

3．运动数据的高效索引和快速匹配。为了适应大规模数据库的需要，本文对降维分段等预处理之后的运动数据提出了基于决策树，多示例学习和集成学习的有效索引方法以过滤绝大部分和查询例子不相关的运动样例，综合考虑人体各个关节点对运动影响的重要性，达到加速检索的目的。

4．基于子空间的运动编辑和合成。由于运动数据在子空间的内在隐藏属性能够在子空间被反映出来，本文提出了对运动数据在流形子空间进行线性和非线性映射，从而分离出风格参数的方法，进而对其进行编辑生成新风格运动。

5．系统实现。本文实现了上述运动捕获数据的分析处理技术和方法，并给出了人体运动检索和运动编辑合成的结果。

4.期刊论文杜友田.陈峰.徐文立.李永彬.DU You-tian.CHEN Feng.XU Wen-li.LI Yong-bin基于视觉的人的运动

识别综述-电子学报2007,35(1)

目前,基于视觉的人的运动分析是一个非常活跃的研究领域,而对人的运动进行理解和识别更是该领域内一个富有挑战性的研究方向,它在智能监控、感知接口和基于内容的视频检索等领域具有广泛的应用前景.本文对人的运动识别领域近年来的发展作了比较详细的论述,从人运动的类别、运动表示方法和运动识别方法三个方面分析了该方向的进展情况,并对当前该研究方向上亟待解决的问题做了比较详细的分析.

5.学位论文柴桦基于视频的人体运动识别方法研究2008

目前，基于视频的人体运动分析是一个非常活跃的研究领域，而其高级阶段，人体运动识别更是该领域内一个富于挑战性的课题，它在人机交互、智能监控、体育性能分析、内容检索等领域具有广泛的应用前景。在分析总结国内外计算机领域关于人体运动识别研究工作的基础上，本文作者从视频中运动捕获的数据出发，针对具有复杂动作特征的人体动作识别和人体连续动作识别，分别建立了合适的模型。主要研究内容如下：

首先，针对传统概率模型中对观测序列的限制和存在的“标记偏置”问题，提出了基于条件随机场模型描述人体动作时序特征序列的方法。该方法无需对观测建模，从而避免了独立性假设，并在优化过程中进行全局归一化又能解决“标记偏置”问题，从而更符合实际情况中人体动作建模。此外

，由于条件随机场模型具有容纳观测值重叠和长距离依赖特征的特点，该方法在处理复杂人体动作识别时具有很强的优势。

然后，针对人体连续动作的动作分段和识别，提出一种将条件随机场和条件概率密度传播相结合的方法。该方法将连续动作识别分解成各个单个动作识别的分治方法。首先利用条件概率密度对连续动作序列进行分割，采用一种先假设再验证的策略，假设多个可能的动作分段，再以条件随机场输出的概率形式的识别结果验证分段假设。由于分割时去除了动作转换过程中部分过渡帧，从而减轻了过渡姿势的影响，提高了识别的鲁棒性和正确率。

实验结果表明，本文作者提出的复杂动作识别和连续动作识别方法是行之有效的，并为进一步的研究奠定了良好的基础。

6.学位论文杨锋基于图像序列的三维重建2009

视觉是人类获取信息、认识世界的重要途径。计算机视觉就是用计算机模拟人眼的视觉功能，从图像或图像序列中提取信息，对客观世界的三维景物和物体进行形态和运动识别。在最近三十年内，计算机视觉技术有了突飞猛进的发展，其应用范围遍及工业、农业、医学、军事等多个领域。

三维重建技术是研究如何通过二维信息来获取物体在空间中的三维信息的技术，具有广泛的应用前景。它涉及到的学科也非常广泛，包括特征点提取、图像匹配、多视图几何理论、数值分析方法、计算机图形学、三维建模等多个领域。

本文提出了一种两幅图像间基本矩阵的自动计算算法，该算法结合SIFT特征点，并以RANSAC算法作为搜索引擎。该算法仅需图像作为输入，不需要其它先验信息；而输出是基本矩阵的估计以及一组对应的特征点。

本文设计并完成了一种基于图像序列的三维重建系统，详细地阐述了系统实现的流程，对其中涉及到的特征点提取与匹配、图像间关系建立、运动与结构的更新、自标定、稠密匹配等多种技术进行了较深入的研究。实验证明，本文实现的三维重建系统能够较好地还原出实际物体的外观，并且具有较高的重建精度。

7.学位论文于虹基于视频图像的人体运动识别与跟踪研究2006

近年来，从人体运动的图像序列中检测、识别和跟踪感兴趣的人体部位是图像处理和计算机视觉领域中的热门课题之一，它具有非常广阔的应用前景。例如，在医学方面，运用人体运动来分析伤残患者的运动信息，能对他们的病症诊断和身体康复起到很大地帮助；在体育运动方面，运用人体运动来分析运动员的运动信息，对提高他们的运动成绩是很有帮助的。人体运动分析过程首先是获取由摄像机摄入的视频图像序列，然后采用适当地跟踪算法对运动人体的关节点进行跟踪，最后把关节点在图像序列中的坐标进行三维重构，并用所获取的三维参数进行人体运动进行分析。

本文主要研究的是如何在保证匹配精度的条件下快速、准确地确定图像序列中人体各个关节点的位置，并使之能够应用到运动解析中。本文通过对已有算法的分析和根据人体关节点运动的实际需要，在四步运动矢量查找算法FourStepSearch(FSS)的基础之上采用了一种效率更高，查找更准确的自适应大小查找算法AdaptiveSizeSearch(ASS)。此外本文还重点研究了基于均值偏移的目标跟踪算法(MeanShiftAlgorithm)，并在此基础上，对均值偏移算法进行了改进，提出了一种适应运动幅度较大地人体关节点的动态均值偏移跟踪算法。通过对均值偏移算法和动态均值偏移跟踪算法的分析和实验比较，可以看出动态均值偏移跟踪算法，由于利用了目标的空间位置信息，从而提高了跟踪目标的可靠性和有效性。为了更进一步地提高跟踪运动目标的准确性，本文提出了将动态偏移跟踪算法与多种常用矩结合起来，对人体关节点目标进行了跟踪。

8.学位论文张建华基于二维视频序列的伪立体视频重建方法研究2007

计算机视觉就是用计算机模拟人眼的视觉功能，从图像或图像序列中提取信息，对客观世界的三维景物和物体进行形态和运动识别。计算机视觉是计算机科学研究领域的重要分支，其研究的核心问题是从景物图像或序列图像求出景物的精确的三维几何描述，并定量的确定景物中物体的空间性质

，其过程是成像过程的逆过程。从二维视频序列中重建三维视频序列是诸多学术领域，包括计算机科学，计算机视觉，人工智能，医学等广泛关注的一个课题。

本文主要是根据双目立体视觉原理讨论了如何将二维视频序列转换成伪3D视频序列的方法。

视频运动的分割是计算机视觉的基础，本文主要根据时域和空域信息，采用了根据运动信息结合边缘检测的方法进行分割。

要得到三维视频，就必须要有立体视差，立体视差是计算机视觉的重要内容，也是三维重建中的关键技术，本文通过对现在的视差算法研究，提出了采用基于三角形网格的浓密视差提取方法。但是对二维视频序列来说，其本身并不包含有视差信息，但我们可以根据二维视频序列中的运动信息，纹理信息，遮挡信息等信息来估算视差，本文主要采用的方法是根据运动信息来估算视差。

根据双目立体视觉原理和立体显示技术，将二维视频帧经过变换，得到伪三维立体视频帧，并合成视频序列。根据分色式立体显示技术，最终获得了具有立体感的伪立体视频图像。

9.学位论文王江涛基于视频的目标检测、跟踪及其行为识别研究2008

目标的检测、跟踪与行为识别作为视频监控的主要研究内容，是当前计算机视觉领域的研究热点，其不但具有重要的实际意义，而且对计算机视觉的其他研究领域有着重要的推动作用。视频监控技术研究的主要目的是赋予机器视觉系统人类的视觉感知功能，以能够在图像序列中发现目标、跟踪目标，并对目标的行为进行识别和理解。经过几十年尤其是近十年的不懈研究，上述技术取得了长足的进步，但实践表明一般意义上的目标检测、跟踪与行为识别技术还远未成熟，要开发出真正鲁棒、实用的视频监控系统还需要更为鲁棒的核心算法。本论文主要对视频监控相关的关键技术进行研究，研究内容涉及目标的检测、目标的跟踪以及人体行为识别等方向，内容涵盖了可见光图像和红外图像领域。现对论文的主要创新点概述如下：

1)提出一种基于几何约束和颜色信息的人脸检测算法该方法在充分考虑人脸区域与头发区域的颜色特征与几何关系的基础上，给出了用于描述人脸区域和头发区域之间几何约束的表达模型；在对肤色区域和头发区域分别进行检测后，根据不同候选区域之间的几何关系，通过几何约束对人脸和头发可能存在的区域进行特征判别，完成对图像中的人脸检测。

2)分别提出一种单幅红外图像中和序列红外图像中的人体检测方法在单幅红外图像中，针对红外图像中人体图像亮度较高的特点，首先通过亮度方向投影确定可能存在人体的候选区域，进而采用方向梯度直方图对候选目标进行描述。最后将方向梯度直方图作为输入向量采用。Fisher线性判别和贝叶斯分类器对候选目标进行分类，完成对候选目标中存在的人体进行检测。在红外序列图像中，首先采用自适应高斯混合模型对序列图像进行背景建模，在准确分割出前景目标的基础上，设计了一种新的人体目标表达模型。以人体表达模型作为输入向量，构建支持向量机对人体目标进行分类判别。在不同的红外场景下进行人体检测实验时，所提出的两种算法均取得了满意的检测效果。

3)从自适应目标表达特征的选取和遮挡情况下的目标跟踪两个角度出发对Mean-Shift框架下的目标跟踪问题进行了改进Mean-ShiR框架下的目标跟踪

大多采用静态目标表达模型，这在动态变化的场景中容易导致跟踪失败。针对该缺点，论文提出一种基于自适应特征生成模型的目标跟踪方法。通过构建目标和背景的局部信噪比，对当前目标所处特征空间的可跟踪性进行量化评估，选用性能最优的表达模型作为当前的特征跟踪模型。实验表明，与采用静态模型相比，提出的算法具有更好的鲁棒性和可行性。

经典的Mean-Shift算法要求目标在连续两帧之间部分的重合，在目标发生遮挡时难以满足该条件。该论文将目标的运动在较短时间内看作一时不变系统，通过引入Kalman滤波进行参数辨识而使发生遮挡后的跟踪系统具有后续状态预测的能力。整个跟踪过程分为Mean-Shift跟踪下的Kalman参数辨识和基于Kalman状态估计的Bhattacharyya系数分析两个子过程交替执行。对不同的视频序列测试的结果表明，算法能够对发生遮挡后的目标进行持续、稳健的跟踪。

4)在粒子滤波跟踪框架下提出一种多线索融合方法在复杂的动态背景下，采用多线索进行目标跟踪可以提高系统的鲁棒性。论文在注意到不同特征具有不同的鉴别性能的基础上，从分析采样粒子和参考样本的特征空间距离和物理距离之间的关系出发，提出相对鉴别系数这一概念对不同特征间的鉴别性能进行描述，进而采用二次加权的方法对不同特征进行融合。实验结果表明，所提出的算法在多个复杂场景下均能够对目标进行准确、鲁棒的跟踪。

5)提出一种基于周期运动分析的人体运动识别方法人体运动识别是视频监控的最终研究目标之一，论文对此提出一种基于周期运动分析的人体运动识别方法。该方法首先通过背景抽耿获取人体的前景图像，并采用3个参数对人体的轮廓变化进行测量，以获取人体运动的周期。然后将人体图像投影到一个低维的特征空间中，此时同一周期所包含的特征点组成一个封闭的环。最后设计了一种特征距离函数求取不同的运动环之间的距离，对不同的运动进行分类识别。

上述的几个创新点，按照在视频监控任务中所处的层次，由低到高有机连接，为视频监控技术的实用化提供了理论支持。

10.学位论文张颖康关于摄像机标定与三维重建技术的研究2008

视觉是人类获取信息、认识世界的重要途径。计算机视觉就是用计算机模拟人眼的视觉功能，从图像中提取信息，对客观世界的三维景物和物体进行形态和运动识别。在最近三十年内，计算机视觉技术有了突飞猛进的发展，其应用范围遍及工业、农业、医学、军事等多个领域。

摄像机标定是计算机视觉领域中的关键技术，标定的过程是通过建立摄像机图像像素位置与场景点位置之间的关系，最终确定摄像机内部几何和光学特性(内部参数)以及摄像机在三维空间坐标系中的位置和方向(外部参数)。摄像机标定的精度直接影响着整个视觉系统的精度，此项技术也是三维重建技术得以实现的重要基础。

三维重建技术是研究如何通过二维信息来获取物体在空间中的三维信息的技术，它涉及到的学科非常广泛，包括特征点提取、图像匹配、摄像机标定、多视图几何理论、数值分析方法、计算机图形学等多个领域的理论，具有广泛的应用前景。

本文针对计算机视觉中摄像机标定和三维重建技术进行了较深入的理论研究和充分的实践工作。分析了摄像机标定的多种实现方法，并针对双目和多目视觉系统等多种应用场合，提出了一些切实可行的摄像机标定方法。结合实验，总结出了影响摄像机标定精度的诸多因素。实现了一种基于图像序列的三维重建技术，对其中涉及到的特征点提取和匹配、射影重建、摄像机自标定、稠密匹配等技术进行了详细的阐述。在若干具体环节上提出了一些有效的方法，如误匹配点的剔出、基准图像对的选择、重叠匹配、添加图像的选择，自适应RANSAC算法求解运动等等。实验证明，本文实现的三维重建系统能够较好的还原出实际物体的外观，并且具有较高的重建精度。

本文链接：https://www.360docs.net/doc/3d8332618.html,/Periodical_wjsjxx200804089.aspx

授权使用：武汉科技大学(whkjdx)，授权号：f84b4d8b-90e3-4727-b853-9e1100aad2eb

下载时间：2010年10月16日