步态识别综述

步态识别论文

课程论文步态识别学号：班级：通信122 姓名：楚舒琦

目录摘要 (3) 一、背景介绍 (4) 二、相关研究 (4) 三、主题（算法） (5) 基于线图模型的动态特征提取 (6) 基于整体的静态特征提取 (8) 识别 (9) 四、实验 (9) 五、结果讨论 (12) 六、总结 (12) 七、应用前景 (12) 八、技术难点及解决途径 (14) 技术难点 (14) 解决途径 (15) 九、参考文献 (16)

摘要步态识别是一种新兴的生物特征识别技术，旨在通过人们走路的姿态进行身份识别，与其他的生物识别技术相比，步态识别具有非接触远距离和不容易伪装的优点。在智能视频监控领域，比面像识别更具优势。对步态识别的优缺点以及步态识别所涉及到的运动分割、特征提取与选择、模式识别算法进行了综述,并对步态识别中存在的问题与未来的研究方向进行了讨论。关键词:生物特征识别;步态识别;特征提取;运动分割;动态时间规正

一、背景介绍步态是指人们行走时的方式，这是一种复杂的行为特征。罪犯或许会给自己化装，不让自己身上的哪怕一根毛发掉在作案现场，但有样东西他们是很难控制的，这就是走路的姿势。英国南安普敦大学电子与计算机系的马克·尼克松教授的研究显示，人人都有截然不同的走路姿势，因为人们在肌肉的力量、肌腱和骨骼长度、骨骼密度、视觉的灵敏程度、协调能力、经历、体重、重心、肌肉或骨骼受损的程度、生理条件以及个人走路的"风格"上都存在细微差异。对一个人来说，要伪装走路姿势非常困难，不管罪犯是否带着面具自然地走向银行出纳员还是从犯罪现场逃跑，他们的步态就可以让他们露出马脚。人类自身很善于进行步态识别，在一定距离之外都有经验能够根据人的步态辨别出熟悉的人。步态识别的输入是一段行走的视频图像序列，因此其数据采集与面像识别类似，具有非侵犯性和可接受性。但是，由于序列图像的数据量较大，因此步态识别的计算复杂性比较高，处理起来也比较困难。尽管生物力学中对于步态进行了大量的研究工作，基于步态的身份鉴别的研究工作却是刚刚开始。步态识别主要提取的特征是人体每个关节的运动。到目前为止，还没有商业化的基于步态的身份鉴别系统。二、相关研究信息融合：感知融合是人类感知外部世界的本能之一。人类可以非常自然地运用这一能力把来自人体各个感知器官眼耳鼻四肢的信息图像声音气味触觉组合起来并使用先验知识去估计理解和识别周围的环境以及正在发生的事情。融合理论正是对人类这一本能的模仿旨在利用计算机技术对按时序获得的多源观测信息在一定准则下加以自动分析综合以完成所需的决策和估计任务而进行的信息处理过程。信息融合的基本原理就像人脑综合处理信息一样充分利用多源信息通过对这些多源的观测信息的合理支配和使用把多源信息在空间或时间上的冗余或互补依据某种准则来进行组合以获得被测对象的一致性解释或描述。按照信息抽象的个层次可将信息融合分为3级（像素级融合特征级融合和决策级融合）。像素级融合是在采集到的原始数据上进行的融合是原始测报未经预处理之前就进行的综合和分析是最低层次的融合。

基于骨骼数据的人体行为识别

基于骨骼数据的人体行为识别摘要人体动作姿态识别是计算机视觉研究领域中最具挑战的研究方向，是当前的研究热点。对人体动作姿态进行自动识别将带来一种全新的交互方式，通过身体语言即人体的姿态和动作来传达用户的意思，如在机场、工厂等喧闹的环境下，采用手势、动作姿态识别等人机交互技术能够提供比语音识别更加准确的信息输入。总之，在智能监控、虚拟现实、感知用户接口以及基于内容的视频检索等领域，人体动作姿态的识别均具有广泛的应用前景。该文首先简单介绍了人体动作姿态序列的分割，然后对人体动作姿态识别的方法进行了分类介绍，并对一些典型的算法的研究进展情况及其优缺点进行了重点介绍。关键词：人体动作姿态识别; 人工智能; 隐马尔可夫模型; 动态贝叶斯网络; 模板匹配前言人体姿态识别是计算机视觉的一个重要研究方向，它最终目的是输出人的整体或者局部肢体的结构参数，如人体轮廓、头部的位置与朝向、人体关节点的位置或者部位类别。姿态识别的研究方法应该说，几乎涵盖了计算机视觉领域所有理论与技术，像模式识别、机器学习、人工智能、图像图形、统计学等。到目前为止，已经有众多识别方法被提出，并且也取得了许多重要的阶段性的研究成果，但是以往的方法都是基于普通光学图像，比如常见的RGB 图像，这类图像容易受光照、阴影等外界变化的影响，尤其在环境黑暗的情况下无法来识别人体姿态，并且由于人体关节自由度大，及人的体型、着装较大差异性，常导致姿态识别系统识别率低。尽管有研究者利用多个摄像机获取采集的图像来获取人体深度信息以克服以上问题[1]，但是该类方法恢复的深度信息不是唯一的，而且计算量非常大，尤其是这种方法要求事先用人工对传感设备进行标定，而在选取场景中的标定物时，往往又会遇到实际环境操作困难的问题。随着光电技术的快速发展，深度传感设备的成本逐渐降低，人们获取深图像的途径及方法也越来越多。该方向的研究也逐渐成为计算机视觉领域的研究趋势。具体原因包括：一方面，深度传感设备不仅操作简单，并且极大简化了普通摄像机的标定过程；另一方面，得到的深度图像由于直接包含了人体的深度信息，能够有效的克服普通光学图像遇到的上述问题。到目前为止，较有影响力的基于该类图像的人体姿态识别算法，应该是 Shotton 等人利用一种深度传感器 Kinect 来实时捕捉人体运动的算法，该算法虽然能够满足人们对识别系统实时性的要求，但其对硬件要求特别高，并且不适合低分辨率图像中的人体关节点提取，容易导致人体骨架扭曲。下文将具体陈述人体运动分析的主要用途和前人在不同时期对这些难题的处理办法。主题基于计算机视觉的人体运动分析不仅在智能监控、人机交互、虚拟现实和基于内容的视频检索等方面有着广泛的应用前景，更是成为了未来研究的前瞻性方向之一。Gavrila 总结了它的一些主要应用领域[2,3,4]，下面据此对其典型应用做出进一步的介绍。智能监控(Smart Surveillance) 所谓“智能监控”是指监控系统能够监视一定场景中人的活动，并对其行为行分析和识别，跟踪其中的可疑行为(例如在一些重要地点经常徘徊或者人流密集的场合下突发的人群拥挤等状况)从而采取相应的报警措施。智能监控系统应用最多的场合来自于那些对安全

行为识别国内外现状

1．原始视频的特征提取 (1)光流场光流场是空间运动物体在观测成像面上像素运动的瞬时速度。它利用图像序列中的像素强度数据的时域变化和相关性来研究图像的灰度在时间上的变化与场景巾物体结构及其运动的关系。光流法通常假设相邻帧的图像差异非常小，从而获取对真实运动场的近似估计【31。它不用预知任何先验知识，即能提供有关运动速度及图像中运动区域的简洁描述，适用于摄像机运动的情形。但光流法易受噪声及光照变化的影响，且计算较为复杂，很难用于实时的视频监控系统。 (2)点轨迹目标的运动轨迹也可以作为特征，从而大致推断出目标运动所属的行为类别。但图像平面上的轨迹对平移、旋转和缩放等变换比较敏感，因此在大多情形下，此特征显得不够可靠。常用的替代特征表达有轨迹速度、时空曲率等【4，51。运动轨迹的获取比较依赖于精确的跟踪算法。从原始视频中提取点轨迹特征同样容易受到噪声、遮挡及混乱背景等的影响。(3)人体形状表达在摄像机固定的情形下，假设背景已知，通过背景剪除法可以很容易得到运动人体形状。基于全局、边界及骨架等的描绘子都可以用来表达人体形状。全局方法16,71如剪影、矩等是在整体形状区域内计算描绘子，而边界方法仅考虑形状轮廓【8l，骨架i方法则是用一组lD 骨架曲线代表一个复杂的人体形状，比如中轴变换[91等。 (4)滤波器响应空时滤波器响应是一个广义上的分类。Zhang等【lo】存时间轴上计算高斯导数，将滤波器响应较高的区域作为运动区域。LaptevI¨1利用一组空时高斯导数滤波器将Harris角点检测扩展应用于三维的视频数据从而检测出空时兴趣点。这类方法大都基于简单的卷积操作，运算快速而简便。当视频分辨率较低的情形下，提取光流或剪影特征较为困难，利用滤波器响应特性可以从视频数据中提取有效的底层特征。 2．低层特征的描述与识别我们将低层特征的描述与识别方法分为三类①：非参数方法、空时体方法和参数时序法，分别对现有方法进行归类，并作一个简短的综述。 2．1非参数方法 (1)模板匹配法这类方法需要对每种行为的特征建立相应的模板，将获取的特征数据与模板相匹配，通过计算两者之间的相似度进行识别。Polana和Nelson[4刀将整个序列分解为多个周期行为，利用二维网格特征识别各种行为。Bobick和Davis[391将图像序列转换为运动能量图像(膨酣)和运动历史图像(朋m)模板，MEI反映运动覆盖的范围及强度，而MHI反映运动在时间上的变化情况。Weinland等【拍】提出运动历史体积(MHV)模板，从多个视角重建目标并将其投影到圆柱坐标系，提取Fourier变换特征以描述行为。Wang和Suter[451也将整个行为过程融合为基于轮廓的平均运动形状(MMS)和基于运动前景的平均运动能量(彳^扭)两个模板。模板匹配法计算复杂度低、实现简单，但它本身无法描述动态系统，也不能完全反映数据在空问上的分布属性，具有一定的局限性。而且不同行为之间执行速率的不同、噪声、光照等因素都会影响模板匹配的准确性。 (2)目标建模法行为可以通过建立人体动态表观模型进行描述。常见的人体模型有棍图模型【109]、2D模型例及3D模型51。3D人体建模是最常用的人体结构表征方法，通过跟踪人体模型中主要

基于图像处理的人群行为识别方法综述_高玄

总第３２２期２０１６年第８期计算机与数字工程Ｃｏｍｐｕｔｅｒ　＆Ｄｉｇｉｔａｌ　ＥｎｇｉｎｅｅｒｉｎｇＶｏｌ．４４Ｎｏ．８１５５７　基于图像处理的人群行为识别方法综述＊高　玄１　刘勇奎２　汪大峰１（１．北方民族大学计算机科学与工程学院　银川　７５００２１）（２．大连民族学院计算机科学与工程学院　大连　１１６６００）摘　要　基于图像处理的人体行为识别是计算机视觉中一个活跃的研究领域，目前大部分研究者主要针对个人行为识别展开研究。对人群的行为识别研究相对较少而人群行为识别在智能监控、虚拟现实、公共安全等方面有着广泛的应用前景。例如，恐怖活动、可疑事件、群体性暴力事件的实时监控等。人体行为识别对包含人的图像序列进行检测、跟踪、目标分类、异常检测以及对人的行为理解与识别。论文通过从一般的单人行为识别出发，介绍了人群识别方面近年来研究发展状况以及当前该研究方向亟待解决的问题，并展望了未来可能的发展方向。关键词　图像处理；行为识别；智能监控；人群中图分类号　ＴＰ３９３ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１６７２－９７２２．２０１６．０８．０３４Ｓｕｒｖｅｙｏｎ　ＧｒｏｕｐＢｅｈａｖｉｏｒ　Ｒｅｃｏｇｎｉｔｉｏｎ　ＭｅｔｈｏｄＢａｓｅｄ　ｏｎ　Ｉｍａｇｅ　ＰｒｏｃｅｓｓｉｎｇＧＡＯ　Ｘｕａｎ１　ＬＩＵ　Ｙｏｎｇｋｕｉ　２　ＷＡＮＧ　Ｄａｆｅｎｇ１（１．Ｃｏｌｌｅｇｅ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｎｏｒｔｈｅｒｎ　Ｕｎｉｖｅｒｓｉｔｙ　ｆｏｒ　Ｎａｔｉｏｎａｌｉｔｉｅｓ，Ｙｉｎｃｈｕａｎ　７５００２１）（２．Ｃｏｌｌｅｇｅ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｄａｌｉａｎ　Ｎａｔｉｏｎａｌｉｔｉｅｓ　Ｕｎｉｖｅｒｓｉｔｙ，Ｄａｌｉａｎ　１１６６００）Ａｂｓｔｒａｃｔ　Ｒｅｃｏｇｎｉｔｉｏｎ　ｏｆ　ｈｕｍａｎ　ａｃｔｉｏｎ　ｕｓｉｎｇ　ｉｍａｇｅ－ｂａｓｅｄ　ｐｒｏｃｅｓｓｉｎｇ　ｉｓ　ａｎ　ａｃｔｉｖｅ　ｒｅｓｅａｒｃｈ　ａｒｅａ　ｉｎ　ｃｏｍｐｕｔｅｒ　ｖｉｓｉｏｎ．Ａｔｐｒｅｓｅｎｔ　ｍｏｓｔ　ｏｆ　ｔｈｅ　ｒｅｓｅａｒｃｈｅｒｓ　ｍａｉｎｌｙ　ｓｔｕｄｙ　ｔｈｅ　ｒｅｃｏｇｎｉｔｉｏｎ　ｏｆ　ｉｎｄｉｖｉｄｕａｌ　ｂｅｈａｖｉｏｒ．Ｆｏｒ　ｒｅｃｏｇｎｉｔｉｏｎ　ｏｆ　ｇｒｏｕｐ　ａｃｔｉｖｉｔｉｅｓ　ｒｅ－ｓｅａｒｃｈ　ｉｓ　ｒｅｌａｔｉｖｅｌｙ　ｌｅｓｓ　ｗｈｉｌｅ　ｔｈｅ　ｒｅｃｏｇｎｉｔｉｏｎ　ｏｆ　ｇｒｏｕｐ　ｂｅｈａｖｉｏｒ　ｉｎ　ｉｎｔｅｌｌｉｇｅｎｔ　ｍｏｎｉｔｏｒｉｎｇ，ｖｉｒｔｕａｌ　ｒｅａｌｉｔｙ，ｐｕｂｌｉｃ　ｓｅｃｕｒｉｔｙ，ｅｔｃｈａｓ　ａ　ｂｒｏａｄ　ａｐｐｌｉｃａｔｉｏｎ　ｐｒｏｓｐｅｃｔ，ｓｕｃｈ　ａｓ　ＡＣＴＳ　ｏｆ　ｔｅｒｒｏｒｉｓｍ，ｓｕｓｐｉｃｉｏｕｓ　ｅｖｅｎｔ，ｍａｓｓ　ｖｉｏｌｅｎｃｅ　ｉｎ　ｒｅａｌ－ｔｉｍｅ　ｍｏｎｉｔｏｒｉｎｇ．Ｈｕ－ｍａｎ　ｂｅｈａｖｉｏｒ　ｒｅｃｏｇｎｉｔｉｏｎ　ｃｏｎｓｉｓｔｓ　ｏｆ　ｄｅｔｅｃｔｉｏｎ，ｔｒａｃｋｉｎｇ　ａｎｄ　ｏｂｊｅｃｔ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｏｆ　ｉｍａｇｅ　ｓｅｑｕｅｎｃｅ，ａｎｄ　ｉｍａｇｅ　ｕｎｄｅｒｓｔａｎｄｉｎｇａｎｄ　ｒｅｃｏｇｎｉｔｉｏｎ　ｏｆ　ｈｕｍａｎ　ｂｅｈａｖｉｏｒ．Ｂｙ　ｉｎｔｒｏｄｕｃｉｎｇ　ｔｈｅ　ｒｅｃｏｇｎｉｔｉｏｎ　ｏｆ　ｉｎｄｉｖｉｄｕａｌ　ｂｅｈａｖｉｏｒ，ｔｈｉｓ　ｐａｐｅｒ　ａｎａｌｙｚｅｓ　ｔｈｅ　ｄｅｖｅｌｏｐ－ｍｅｎｔ　ａｎｄ　ｃｕｒｒｅｎｔ　ｓｔａｔｕｓ　ｏｆ　ｇｒｏｕｐ　ｂｅｈａｖｉｏｒ　ｉｎ　ｒｅｃｅｎｔ　ｙｅａｒｓ　ａｎｄ　ｔｈｅ　ｒｅｓｅａｒｃｈ　ｐｒｏｂｌｅｍｓ　ｔｏ　ｂｅ　ｓｏｌｖｅｄ．Ａｎｄ　ｐｏｓｓｉｂｌｅ　ｄｉｒｅｃｔｉｏｎｓ　ｏｆｆｕｔｕｒｅ　ａｒｅ　ｄｉｓｃｕｓｓｅｄ．Ｋｅｙ　Ｗｏｒｄｓ　ｉｍａｇｅ　ｐｒｏｃｅｓｓｉｎｇ，ｂｅｈａｖｉｏｒ　ｉｄｅｎｔｉｆｉｃａｔｉｏｎ，ｉｎｔｅｌｌｉｇｅｎｔ　ｍｏｎｉｔｏｒｉｎｇ，ｔｈｅ　ｃｒｏｗｄＣｌａｓｓ　Ｎｕｍｂｅｒ　ＴＰ３９３１　引言当前，基于图像处理的人体行为识别是一个非常活跃的研究领域，人体行为识别是对包含人的图像序列进行检测［１］、跟踪、目标分类［２］、异常检测［３］以及对人的行为理解与识别，而图像处理技术是通过提取运动物体的颜色和形状等特征信息，用于背景检测和跟踪［４］。就目前而言，绝大部分的监控系统只局限于简单的图像处理，而无法进行人体异常识别，对于人群行为的识别以及在人群发生异常行为时能够实时报警的研究相对较少［５］。由于在公共安全等领域有着广泛的应用前景，人群行为识别＊收稿日期：２０１６年２月１日，修回日期：２０１６年３月１９日基金项目：辽宁省科技基金项目“图形图像处理中形状表示的压缩方法研究”（编号：２０１１０２０４２）；辽宁省自然科学基金项目“虚拟现实中三维图形的应用基础研究”（编号：２００８２１７５）；辽宁省教育厅科学基金项目（编号：Ｌ２０１４５４４）；中央高校基本科研业务费专项资金项目（编号：ＤＣ２０１５０２０３０２０１；ＤＣ２０１５０２０３０４０４）资助。作者简介：高玄，男，硕士研究生，研究方向：计算机图像处理。刘勇奎，男，教授，研究方向：多媒体信息处理技术。汪大峰，男，研究方向：计算机图像处理。

人体行为识别技术

成误报)。另外一种“智能”是指系统能够监视一定场所中人的活动，并对其行为进行分析和识别，跟踪可疑行为(如经常在重要地点徘徊等等行为)从而采取相应的报警措施。通常把报警系统设置于银行、机场、车站、码头、超市、办公大楼、住宅小区等地，以实现对这些场所的智能监控。 ②虚拟现实跟踪现实世界人的姿态，从而创建一个虚拟的仿真场景，实现人与这个虚拟世界的交互。该领域的具体应用涉及视频游戏、虚拟摄影棚、计算机动画等方面。 ③高级用户接口指可以通过对用户手势的识别来代替传统的鼠标和键盘输入，从而实现人与计算机之间的智能交互。此外，通过对手势语言的理解，还可以进行聋人与计算机之间的手语交流。 ④运动分析人体运动分析可以运用于基于容的视频检索领域。例如可以检索在运动会上单杠比赛中运动员的杠上动作。这样可以节省用户大量的查询视频资料的时间和精力。另外一种应用是用于各种体育项目中，提取运动员的各项技术参数(如关节位置、角度和角速度，等等)，通过分析这些信息，可以为运动员的训练提供指导和建议，有助于提高运动员的训练水平。此外，还可以用于体育舞蹈动作的分析，以及临床矫形术的研究等领域。 ⑤基于模型的视频编码通过提取一定的静态场景中人物的形态特征参数和3D姿态参数，以较低的数据量对视频数据流加以描述，实现视频数据的压缩和低比特率传送。可以用于在因特网上展开远程视频会议以及VOD（Video-On-Demand）视频点播。

基于计算机视觉步态识别系统的方法研究

第21卷第4期湖　北　工　业　大　学　学　报2006年08月 V ol.21N o.4　Journal of H ubei U niversity of T echnology Aug.2006 [收稿日期]2006-05-23[作者简介]程　琼(1959-),女,湖北武汉人,湖北工业大学副教授,研究方向:模式识别及计算机控制. [文章编号]1003-4684(2006)0820101203 基于计算机视觉步态识别系统的方法研究程　琼,庄留杰 (湖北工业大学电气与电子工程学院,湖北武汉430068) [摘　要]对目前步态识别系统的研究方法进行了分析、归类与总结,并在原有的研究方法基础上提出了三维系统建模与跟踪新方法.计算机视觉技术为步态识别系统提供了强有力的分析工具. [关键词]步态识别;计算机视觉;研究方法[中图分类号]TP391.41 [文献标识码]:A 步态识别作为一种新兴的生物特征识别技术, 当前已成为基于视觉的人体运动分析领域的研究热点.步态识别是一种潜在的行为特征,相关研究已证实它可以用于身份识别. 1　步态识别系统组成步态识别是从相同行走行为中寻找和提取相应个体的可区分的变化来自动进行身份识别.基于视觉的步态识别系统,如图1所示,监控摄像机用于捕捉监控领域中的行人,结合背景的自动建模和更新,步态检测用来检测行人.行人在二维或三维空间中被连续跟踪.从跟踪结果中,步态模式的一些个性化特征被相应地提取.结合在步态数据库中已经存储的步态模式,分类器最后给出识别结果 . 2　基于视觉的步态分析步态作为生物特征的可用性在早期已得到证明,关健是如何利用计算机视觉方法来获取个体运动特征.人体建模的选择对于从图像中识别人的形状,正确分析人的运动是非常重要的.骨架图模型是以直线近似在关节点处所连接的骨骼来表达人体;立体模型能更好地表达人体,它利用广义锥台、椭圆柱、球等三维模型来描述人体的结构细节[1]. 许多研究将人的运动定义为身体运动的不同姿势.有2种主要方法来建模人的运动:一种是基于模型的方法,即选择人体模型后,该模型的三维结构从图像序列中进行恢复;另一种方法重在确定运动场的特征,而不需结构的重构.运动行为的识别可以认为是时变数据的分类问题. 可以看出,人体建模、跟踪与运动识别技术等视觉方法已为步态分析提供了一种强有力的分析工具. 3　步态识别方法分类当前的步态识别方法有:1)使用行人的时空模式得到步态特征;2)通过光流分布来提取特征;3)特征化实际运动的外观.而如何紧支有效地表达分割出来的或跟踪的行人是非常重要的,因为它将直接或被进一步分析,以获取用于识别的步态特征. 步态包括2类分量:结构化分量,它捕捉了一个人的身体形状;动态分量,它捕捉人体行走期间的运动特征.根据分析,步态识别方法一是基于模型或结构的方法,它通常建模人体结构并且提取图像特征来影射它们为模型的结构化分量,或者衍生出人体部分的运动轨迹来识别个体;二是非结构或者基于运动的方法,它通常特征化人体的整个运动模式来获取运动特征,而不考虑潜在的结构[2].

步态识别论文

课程论文步态识别学号：12426009 班级：通信122 ：楚舒琦目录摘要 (3) 一、背景介绍 (4)

二、相关研究 (4) 三、主题（算法） (5) 3.1基于线图模型的动态特征提取 (6) 3.2基于整体的静态特征提取 (8) 3.3识别 (9) 四、实验 (9) 五、结果讨论 (12) 六、总结 (12) 七、应用前景 (13) 八、技术难点及解决途径 (14) 8.1技术难点 (14) 8.2解决途径 (15) 九、参考文献 (16)

行为识别国内外现状资料

1．原始视频的特征提取 (1) 光流场光流场是空间运动物体在观测成像面上像素运动的瞬时速度。它利用图像序列中的像素强度数据的时域变化和相关性来研究图像的灰度在时间上的变化与场景巾物体结构及其运动的关系。光流法通常假设相邻帧的图像差异非常小，从而获取对真实运动场的近似估计【31。它不用预知任何先验知识，即能提供有关运动速度及图像中运动区域的简洁描述，适用于摄像机运动的情形。但光流法易受噪声及光照变化的影响，且计算较为复杂，很难用于实时的视频监控系统。 (2) 点轨迹目标的运动轨迹也可以作为特征，从而大致推断出目标运动所属的行为类别。但图像平面上的轨迹对平移、旋转和缩放等变换比较敏感，因此在大多情形下，此特征显得不够可靠。常用的替代特征表达有轨迹速度、时空曲率等【4，51。运动轨迹的获取比较依赖于精确的跟踪算法。从原始视频中提取点轨迹特征同样容易受到噪声、遮挡及混乱背景等的影响。 (3) 人体形状表达在摄像机固定的情形下，假设背景已知，通过背景剪除法可以很容易得到运动人体形状。基于全局、边界及骨架等的描绘子都可以用来表达人体形状。全局方法16,71 如剪影、矩等是在整体形状区域内计算描绘子，而边界方法仅考虑形状轮廓【81,骨架i方法则是用一组ID 骨架曲线代表一个复杂的人体形状，比如中轴变换[91 等。 (4) 滤波器响应空时滤波器响应是一个广义上的分类。Zhang等【Io】存时间轴上计算高斯导数，将滤波器响应较高的区域作为运动区域。Laptevl " 1利用一组空时高斯导数滤波器将Harris角点检测扩展应用于三维的视频数据从而检测出空时兴趣点。这类方法大都基于简单的卷积操作, 运算快速而简便。当视频分辨率较低的情形下, 提取光流或剪影特征较为困难, 利用滤波器响应特性可以从视频数据中提取有效的底层特征。 2．低层特征的描述与识别我们将低层特征的描述与识别方法分为三类①：非参数方法、空时体方法和参数时序法, 分别对现有方法进行归类,并作一个简短的综述。 2．1 非参数方法 (1 )模板匹配法这类方法需要对每种行为的特征建立相应的模板, 将获取的特征数据与模板相匹配, 通过计算两者之间的相似度进行识别。PoIana 和NeIson[4 刀将整个序列分解为多个周期行为,利用二维网格特征识别各种行为。Bobick 和Davis[391 将图像序列转换为运动能量图像(膨酣)和运动历史图像(朋m)模板，MEI反映运动覆盖的范围及强度，而MHI反映运动在时间上的变化情况。Weinland等【拍】提出运动历史体积(MHV)模板，从多个视角重建目标并将其投影到圆柱坐标系,提取Fourier 变换特征以描述行为。Wang 和Suter[451 也将整个行为过程融合为基于轮廓的平均运动形状(MMS)和基于运动前景的平均运动能量(彳A扭)两个模板。模板匹配法计算复杂度低、实现简单, 但它本身无法描述动态系统, 也不能完全反映数据在空问上的分布属性,具有一定的局限性。而且不同行为之间执行速率的不同、噪声、光照等因素都会影响模板匹配的准确性。 (2) 目标建模法行为可以通过建立人体动态表观模型进行描述。常见的人体模型有棍图模型【109] 、2D 模

步态识别方法的分类及各类方法的比较

步态识别方法的分类及各类方法的比较程汝珍1,2 1河海大学计算机及信息工程学院，江苏南京(210098) 2水文水资源与水利工程科学国家重点实验室，江苏南京(210098) E-mail：chengruzhen@https://www.360docs.net/doc/3914709520.html, 摘要：步态识别是生物特征识别技术中的一个新兴领域，它旨在根据个体的行走方式识别身份。步态识别主要是针对含有人的运动图像序列进行分析处理,所涉及到的几项关键技术包括:视频处理、图像处理、模式识别。步态识别分析可以划分为特征抽取、特征处理和识别分类三个阶段。在最近的文献中已经有许多研究尝试，提出了许多步态识别的具体方法。但国内外尚无将步态识别技术分类，本文提出了步态识别的六类分类法，且初步比较了每类方法的适用范围和优缺点，使读者较为全面了解步态识别技术现状。关键词：步态识别；分类；适用范围；优缺点；比较中图分类号：TP391.4 1.引言步态识别是生物特征识别技术中的一个新兴领域，它旨在根据个体的行走方式识别身份[1]。根据早期的医学研究[2]人的步态有24个不同的分量，在考虑所有的步态运动分量的情况下步态是唯一的。精神物理学[3]中的研究结果显示即使通过受损的步态信息人们也能够识别出身份，这表明在步态信号中存在身份信息。步态识别主要是针对含有人的运动图像序列进行分析处理,所涉及到的几项关键技术包括:视频处理、图像处理、模式识别[4]。步态识别分析可以划分为特征抽取、特征处理和识别分类三个阶段[5]。步态识别部分图1 步态自动识别系统框图 Fig1 the framework of gait automatic recognition system 步态识别系统的一般框架如图所示[6]。监控摄像机首先捕捉监控领域来人的行走视频，然后送入计算机进行检测和跟踪，提取人的步态特征，最后结合已经存储的步态模式进行身份识别。若发现该人是罪犯或嫌疑人，系统将自动发出警告。

视频行为识别综述

2018年6月 Journal on Communications June 2018 2018107-1 第39卷第6期通信学报 V ol.39 No.6 视频行为识别综述罗会兰，王婵娟，卢飞（江西理工大学信息工程学院，江西赣州 341000）摘要：目前行为识别发展迅速，许多基于深度网络自动学习特征的行为识别算法被提出。深度学习方法需要大量数据来训练，对电脑存储、运算能力要求较高。在回顾了当下流行的基于深度网络的行为识别方法的基础上，着重综述了基于手动提取特征的传统行为识别方法。传统行为识别方法通常遵循对视频提取特征并进行建模和预测分类的流程，并将识别流程细分为以下几个步骤进行综述：特征采样、特征描述符选取、特征预/后处理、描述符聚类、向量编码。同时，还对评价算法性能的基准数据集进行了归纳总结。关键词：行为识别；手动提取；深度网络；数据集中图分类号：TP391 文献标识码：A doi: 10.11959/j.issn.1000-436x.2018107 Survey of video behavior recognition LUO Huilan, WANG Chanjuan, LU Fei School of Information Engineering, Jiangxi University of Science and Technology, Ganzhou 341000, China Abstract: Behavior recognition is developing rapidly, and a number of behavior recognition algorithms based on deep network automatic learning features have been proposed. The deep learning method requires a large number of data to train, and requires higher computer storage and computing power. After a brief review of the current popular behavior recognition method based on deep network, it focused on the traditional behavior recognition methods. Traditional be- havior recognition methods usually followed the processes of video feature extraction, modeling of features and classifi- cation. Following the basic process, the recognition process was overviewed according to the following steps, feature sampling, feature descriptors, feature processing, descriptor aggregation and vector coding. At the same time, the bench- mark data set commonly used for evaluating the algorithm performance was also summarized. Key words: behavior recognition, handcrafted, deep network, data set 1 引言人体行为识别是指利用模式识别、机器学习等方法，从一段未知的视频中自动分析识别人体执行的行为。最简单的行为识别也称为行为分类，它可以将未知视频中的人体行为分类到预先定义的几种行为类别中。较为复杂的行为识别是指识别视频中多个人体正在交互进行的群体活动。行为识别的最终目标是自动分析视频中有什么人，在什么时刻、什么地方做了什么事情。人体行为识别在安防、交通管理、智能看护、娱乐休闲等现实生活中应用广泛。目前，行为识别的研究方法主要有2种：一种是基于手动提取特征的方法，另一种是基于深度网络学习特征的方法。2种方法各有长短，基于手动提取特征的方法能够根据需要提取相应的特征，实现简单，但行为的表示能力也受所提取特征的限制；基于深度网络学习特征的方法能够自动学习特征，但需要大量数据支撑，不适于小型数据集处理，收稿日期：2018-01-29；修回日期：2018-05-16 基金项目：国家自然科学基金资助项目（No.61105042, No.61462035）；江西省自然科学基金资助项目（No.20171BAB202014）Foundation Items: The National Natural Science Foundation of China (No.61105042, No.61462035), The Natural Science Founda-tion of Jiangxi Province (No.20171BAB202014)

人体行为识别技术讲解学习

人体行为识别技术

人体行为识别技术在计算机视觉领域中，人体运动行为识别是一个被广泛关注的热点问题，在智能监控、机器人、人机交互、虚拟现实，智能家居，智能安防，运动员辅助训练等方面有巨大应用价值。行为识别问题一般遵从如下基本过程：数据图像预处理，运动人体检测、运动特征提取、特征训练与分类、行为识别。着重从这几方面逐一回顾了近年来人体行为识别的发展现状和常有方法。并对当前该研究方向上待解决的问题和未来趋势做了分析。行为理解可以简单地认为是时变数据的分类问题，即将测试序列与预先标定的代表典型行为的参考序列进行匹配。通过对大量行为理解研究文献的整理发现：人行为理解研究一般遵从特征提取与运动表征、行为识别、高层行为与场景理解等几个基本过程。特征提取与运动表征是在对目标检测、分类和跟踪等底层和中层处理的基础上，从目标的运动信息中提取目标图像特征并用来表征目标运动状态；行为识别则是将输入序列中提取的运动特征与参考序列进行匹配，判断当前的动作处于哪种行为模型；高层行为与场景理解是结合行为发生的场景信息和相关领域知识，识别复杂行为，实现对事件和场景的理解。【2】 1、行为识别的应用从应用领域的分类来讲，可以将人体运动分析的应用分成如下几个领域： ①智能监控这里所指的“智能”包含两个方面的含义。一种“智能”是指系统能够在一定的场景中检测是否有人的出现(如通过检测人脸的方法)防止只是简单的通过运动目标检测所造成的错误报警(例如因为动物活动或者刮风摇动树枝等等而造成误报)。另外一种“智能”是指系统能够监视一定场所中人的活动，并对其行为进行分析和识别，跟踪可疑行为(如经常在重要地点徘徊等等行为)从而采取相应的报警措施。通常把报警系统设置于银行、机场、车站、码头、超市、办公大楼、住宅小区等地，以实现对这些场所的智能监控。 ②虚拟现实跟踪现实世界人的姿态，从而创建一个虚拟的仿真场景，实现人与这个虚拟世界的交互。该领域的具体应用涉及视频游戏、虚拟摄影棚、计算机动画等方面。 ③高级用户接口指可以通过对用户手势的识别来代替传统的鼠标和键盘输入，从而实现人与计算机之间的智能交互。此外，通过对手势语言的理解，还可以进行聋人与计算机之间的手语交流。 ④运动分析人体运动分析可以运用于基于内容的视频检索领域。例如可以检索在运动会上单杠比赛中运动员的杠上动作。这样可以节省用户大量的查询视频资料的

风险驾驶行为识别及干预研究综述

龙源期刊网 https://www.360docs.net/doc/3914709520.html, 风险驾驶行为识别及干预研究综述作者：李艳刘文超尤志栋来源：《汽车与安全》2020年第03期摘要：驾驶人的风险行为已成为交通事故的主要致因。识别风险驾驶行为并进行干预对提高道路交通安全水平具有重要意义，因此本文从风险驾驶行为识别、干预方法以及干预效果评估三方面对国内外研究进行综述。通过车载数据记录设备或智能手机进行数据采集，基于规则或机器学习算法识别风险行为，基于规则的识别方法简单易理解，但各研究中设定的阈值并不一致，机器学习算法的识别效果相对更优。行为干预分为非实时干预和实时干预两种，其中非实时干预包括安全教育和奖惩手段，部分研究采取两种组合的干预方案。研究表明，两种干预方式均对减少风险驾驶行为或降低危险事件率有一定的效果，但效果的大小、持续性有所不同。此外，不同干预方法效果不同，同样的干预方法对不同的驾驶人、风险行为的干预效果也存在差异。关键词：驾驶行为；行为数据采集；风险行为识别；行为干预；效果评估 Review of risk driving behaviorsidentification and intervention LI Yan1， LIU Wenchao1， YOU Zhidong2 （1.Beijing Xiaoju Technology Co.， Ltd.， Beijing 100193，China； 2. The Key Laboratory of Ministry of Public Security of Road Traffic Safety， Wuxi 214151，China） Abstract： The risk behavior of drivers has become the main cause of traffic accidents. Identifying and intervening risky driving behaviors are of great significance for improving road traffic safety. This paper reviews the research at home and abroad in terms of risk driving behavior identification， intervention methods， and intervention effectsevaluation. Data is collected through in-vehicle data recorder or smartphones， and risk behaviors are identified based on rules or machine learning algorithms. Rulesbased identification methods are simple and easy to interpret， but the thresholds set in various studies are not consistent， and the recognition effect of machine learning algorithms is relatively more excellent. Behavioral intervention is divided into non-realtime intervention and real-time intervention. Among them， non-real-time intervention includes safety education and reward and punishment methods. Some studies have adopted two combined intervention schemes. Studies have shown that both interventions have certain effects on reducing risky driving behavior or reducing the rate of safety related incidents， but the magnitude and persistence of the effects are different. In addition， different intervention methods have different effects， and the same intervention methods have different effects on different drivers and risk behaviors.