层级潜变量空间中的三维人手跟踪方法

5期韩磊等:层级潜变量空问中的三维人手跟踪方法651

踪三维人手,但当状态空间维数过高时,需要大量的粒子来估计高维空间中的概率分布,此时直接在高维状态空间中搜索全局最优很困难.本文基于非线性维数约简方法研究高维状态空间中的三维人手跟踪问题.

近年来,许多学者在基于模型的目标跟踪(特别是人体运动跟踪)中引入了非线性维数约简技术.Wang等[91采用Isomap得到目标运动的流形空间,采用基于K一邻域的线性模型近似建立流形空间到高维状态空间的映射,使用Condensation算法在流形空间中采样,将采样粒子映射到高维状态空间中观测.TiaJl等[10]采用高斯过程潜变量模型(Gaussian

process1atentvariablemodel,GPLVM)得到人体状态空间的流形,在流形空间使用粒子滤波器跟踪

人体的运动,但由于在观测时采用了基于经验选择

的像素模板,需要对图像进行手工标注.Hou等[1妇采用后向约束GPLVM(backconstrainedGPLVM,BCGPLVM)得到人体运动的低维流形,在流形空间使用可变步长的马尔可夫模型(variabIeIengthMarkovmodel,VLMM)建立运动的动态约束,并将该约束作为先验信息指导粒子滤波器的采样,得到了较好的跟踪结果.

上述基于模型的跟踪方法都采用非线性维数约

简方法得到高维状态空间的一个低维流形表示,用

低维坐标表示原始的高维状态向量;但由于它们在学习低维流形时并没有考虑到高维状态空间的结构特征,因此流形空间中的各维坐标并不具备显式的物理含义,为在低维空间中进一步分析目标的运动带来了困难.本文在建立人手运动的低维流形空间时,基于人手的三维模型和生理约柬,将人手划分为5个不同的部分(对应人手的5个手指),采用层级高斯过程潜变量模型(hierarcllicalGPI,vM,HGPLⅥ订)[12]得到人手运动的两层低维流形空间和各流形空间到对应高维空间的非线性映射,采用径向基函数插值方法建立各层流形空间到图像空间的非线性映射;使用粒子滤波器在各流形空间中跟踪各人手部分以及整个三维人手,并融合上下两层的跟踪结果得到最终的跟踪结果.

1人手模型及运动分析

1.1三维人手模型

人手由手指和手掌组成.手掌的运动对应于人手全局位置和方向的变化;手指运动是本文研究的重点,并对应于人手的局部运动和细节变化.由于人手运动中频繁发生自遮挡的情况,而且各个手指在表象上并不存在明显的差别,因此跟踪手指的运动非常困难.手指运动会引起各手指间夹角、手指和手掌间夹角以及同一手指的不同指节间的夹角发生变化。参考5DT公司数据手套传感器的位置,本文建立了如图1所示的三维人手模型.该三维人手模型包括14维自由度信息,分成3类夹角:相邻手指间的夹角(4维),5个手指和手掌间的夹角(5维)以及每个手指的第一个指节和第二个指节间的夹角(5维).

图114维自由度人手模型

1.2人手运动的层级流形空间

人体生物力学和解剖学研究表明,人手的状态空间可以分解为若干个状态子空间,每个状态子空间对应人手的某个部分,每个人手部分的运动被约束在一个合理的构型子空间中,而且在构型子空间中人手部分的运动轨迹是平滑的.本文采用HGPLVM建立人手运动的层级流形空间,由于引入了人手状态空间分解的先验知识,低层流形空间具备一定的物理含义,同时高层流形空间的潜变量可以建模各个人手部分之间的运动约束和整个人手运动的动态特性,因此该层级流形空间更能反映三维人手运动的本质.

GPLVM[13‘1们是一个全概率的非线性潜变量模型,是基于高斯过程的非线性维数约简方法.设高维状态空间为y,维数为D,低维流形空间为x,流形空间到状态空间的非线性映射为口,目的是估计每个训练数据弘∈y的潜变量z。∈x.

核函数是GPLVM的核心,表示为K.本文采用通用的径向基函数作为核函数,该核函数可以在潜变量空间进行平滑的插值运算,其形式为

惫(五,而)=口rbfexp卜号(五一而)7(zt~而))+口bjI.+,1%

(1)

652计算机辅助设计与图形学学报

其中,正(zi,zj)是核矩阵K的第i行和第J列上的元素;口rbr是核方差,用于控制核的尺度;y是核的反转宽度参数;口妇是核偏差的方差;卢是反转噪声的方差;乩是克罗内克三角函数.

GPLVM的学习过程就是利用训练数据得到核参数(口小r,卢,口‰,y)和潜变量毛的过程,表示为最小化目标函数L一罢lnKI+昙tr(K~?wT)+1

丢∑o五II2,并利用学习完成后得到的潜变量构建映射函数口(?),其形式为

口(zi)一rK_1七i(2)其中J【是GPLVM训练得到的核矩阵,向量七j由表达式志(五,z,)计算得到.

根据对人手的状态空间分解,建立如图2所示的人手运动的树状层级流形空间.该树状流形空间只要求叶节点和状态空间的观测值相关,用高层潜变量建模低层各子流形空间的内在联系,很好地定义了不同人手部分运动的条件独立性.图2给定的联合概率分布为

p(K,y2,y3,L,ys)一I户(ylx。)×I户(y2x2)×

l户(y3xa)×I户(LI墨)×I户(y5xs)…×

JJ

.『户(xl,xz,x3,x‘,x5x6)dxsdx5dX‘dx3dx2dx。(3)可以看出式(3)很难计算,可将其转换为计算潜变量的最大后验概率,即最大化6个高斯过程的对数相似度之和

整个人手的低

运动表示

托(2维)

。磊,Il。溪,II。盏,Il。凄,ll。燕,菘,Il磊,Il撼,II纛lI纛+lJ+J中指l+lI+

Z鹬I憾岛lP绑II臻翕II蹂翕

图2学习人手运动的层级流形空间

Iog户(X-,五,x3,x‘,x5,x6fy1,K,y3,y.,y5)=log户(ylX1)+log户(y2Xz)+log户(y3X3)+

log户(y.1墨)+log户(y5x5)+

log户(Xl,X2,X3,X‘,X5X6)(4)其中,等号右侧前5项对应5个人手部分的运动,第6项表示各人手部分运动的内在关系.

优化潜变量的步骤如下:

Stepl.把人手状态空间分为5个人手部分状态空间,分别为y.,y2,y,,H,y5;用PCA得到每个状态空间的低维流形表示,分别为Xl,X2,X3,墨,X5;

step2.在低层流形空问[x。,x2,X3,x‘,x5]中采用PCA初始化根节点的流形空间为X。;

Step3.联合优化6个高斯过程模型的核矩阵和6个流形空问Xl,X2,X3,X.,X5,X6.

本文通过在低层流形空间[X。X。x3x。x。]上定义先验分布来添加一个流形层次,定义与夕(X。,X:,X。,X.,X。lX。)相关联的噪声方差119_1=1×10一.图3所示为训练集中三维人手运动的层级低维表示.

图3三维人手运动的层级低维表示

654计算机辅助设计与图形学学报2009年

获取的人手图像分辨率为240×320,通过初步的裁剪、缩放和二值化,将图像规整为60×70的人手剪影图像.图4所示为3×8幅典型的人手运动图像、对应的剪影图像和用Poser软件渲染后的跟踪结果图像.实验中共选择1632帧数据,其中第3i+1帧作为训练集Tl,第3i+2帧作为训练集T。,第3i+3帧作为测试集T,i=0,…,543.3组实验的设计及时间效率如表1所示.

图4实验人手图像、剪影图像和Poser恢复后的结果图像对比

裹l实验设计

实验中,采用本文方法的设定5个低层流形空间的维数均为1,每个低层流形空间的跟踪粒子数为30,高层流形空间维数为2,跟踪粒子数设定为50;BCGPLVM+VLMM算法选择T1和T2之和作为训练集,T为测试集,实验中发现,当流形空间的维数为3、粒子数为200时,取得了最好的跟踪结果;Condensation算法需要在14维的状态空间中跟踪人手的运动.3种方法的实验都采用本文提出的观测模型,且跟踪开始时均初始化为人手充分展开的状态;粒子滤波器的采样噪声方差cr2从训练集中估计得到;实验设备的CPU为双核3.4GHz,内存1GB,所有算法均在Matlab2007下开发并运行.4.2跟踪结果对比

图5所示的8幅图给出了3种方法跟踪除拇指外的4个手指的掌指关节(metacarpophalaneal,MCP)和近端指间关节(proximalinterphalangeal,PIP)指节弯曲角度的结果.显然,本文方法和BCGPLVM+VLMM算法得到的跟踪结果明显优于Condensation算法的跟踪结果.在一些角度变化剧烈的时间点,BCGPLVM+VLMM算法并没有跟踪到精确的角度变化,而本文方法获得了更好的跟踪结果.注意到在极个别时间点,本文方法虽然也出现了较大的跟踪误差,但很快得到修正,说明本文方法非常鲁棒.

4.3跟踪误差分析

为了进一步比较3种方法的跟踪结果,需要分析跟踪结果的误差.图6a所示为3种方法在每一时刻所有14个关节角度的跟踪误差的均方差,可以看出,Condensation算法具有最大的误差均方差,本文方法的误差均方差最小;图6b所示为整个跟踪过程中,每个关节的跟踪误差的均方差,为了便于显示,我们把第1,6和9关节的均方差扩大了5倍,把第2,3,4,7和13关节的均方差扩大了10倍,可以看出,本文方法同样具有最小的跟踪误差.

5结论

本文基于降低人手状态空间维数的思想,在更能反映人手运动本质的层级流形空间实现了人手运动的鲁棒跟踪.与其他在低维流形空间跟踪目标运动的方法不同,本文方法可以同时跟踪整个人手和多个人手部分的运动,具备人类认知的层级特征.跟踪过程中,我们将粒子滤波器的低维粒子直接映射到图像空间进行观测,去除了特征提取和特征匹配

引入的误差.实验表明,该观测方法简单、有效.

5期韩磊等:层级潜变量空间中的三维人手跟踪方法655

图5跟踪实验对比结果

656

计算机辅助设计与图形学学报2009年

参考文

图6

3种方法跟踪误差对比

[1]

Liu

TangIi,wuxin对ao.Liangwei,甜以,3Darticulated

hndt始ckir呕bynonparametdcbeliefpropagation

on

fea5ible

configumtion6pace口].JoumaLofcomputer—AidedDesign

&ComputerGraphic8,2008,20(4)I476—48l(inChine8e)

(刘棠丽,吴心筱。粟玮,等.基于非参数信念传播的可行

C一空阃关节人手跟踪方法[J].计算机辅助设计与图形学学报,2008,20(4)l476-481)

[2]

wallgxiyi呱,ZhngXiwen,DaiGu∞hong.Anapproach

to

tfackingdefonTlabIehand

ge5ture

f6rreaI—timeinteraction

[刀.JoumalofSoftware,2007,18(10)l2423—2433(in

Chine8e)

(王西颖,张习文,戴国忠.一种面向实时交互的变形手势跟踪方法[J].软件学报,2007.18(10),2423—2433)[3]

Athit∞8V,Scaro“S.E8tirMting

3D

hnd

posefrom

clutteredifMge[C]

//Proceedin95

ofthe

2003

IEEE

compucer

Sbdefy(=ollfe啪ce

on

computef

visj∞丑nd

PattemRecognition,Madi∞n,2003

432-439

[4]

BrayM,Koller—MeierE,Van

G∞l

L.Smrt

partide

filte—tIgfor3Dhandtncki略[C]//Proc∞di鸣5ofthe6th

IEEE

Inter眦tio舱lConferenceon

AutomaticFaceand

GestureRecognition,SeouI,2004

675-680

[5]

wuY,LinJY,HuangTS.Capturi昭眦tu豫lhndarticuIation[C]//Proceedin95

ofthe8thIEEEInterTmtiof蛆l

(bnference

on

ComputerVi8ion,Vancouver,2001

426.432

[6]LinJ

Y,wuY。HuaIIgTs.3Dmodel-b且sedhandtracki略

u6ing

5toc}m5ticdirect

search

method[C]/,Proceedingsof

the6thIEEEIntematioMIConference

on

Automtic

Face

且ndGestureRecognition,S∞ul。2004

693—698[7]

Liu

Yang.

Hand

ge5ture

intenctionmethod5

based

on

骶arable

vi5ion

[D].

Be玎ing

Be玎jng

In8tituteof

TechnoIogy,2005(inChinese)

(柳

阳.基于穿戴视觉的手势交互方法研究[Dj.北京:北

京理工大学,2005)

[8]

I姐rdM.BlakeA.c0NDENsATIoN,conditionaldensity

propagation

ofvi5ual

t阳cl‘ing[J1

Intemtjo舱JJou册J

of

ComputerVision.1998,29(1)l

5—28

[9]wangQ.XuGY,Ai

Hz.Ltarning

object

intrin8ic

stnlcture

for

robust“sualtr扯king[C]//Proceedinpofthe

2003

IEEEcomputerSocietyConfe陀nceon

computerVi5ion

andPattemRecognition,Madison,2003

227—233

[10]TianTP.LiR,Sclaroffs.Tracki呕humanbody

pose

on

l朗皿ed3mooth

sp且ce[R].B∞tonl

BD5tonuni"商ty,2005

[11]HouS,GaIataA.CailletteF.甜“.Rea卜timebodytracking

using

GaussiBn

proce8s

latentvariable

model[c]

//

Proceedi略8ofIEEEIntematio眦lConference

on

Computer

vision,RiodeJaneiro.2007l1-8

[12]Lawrence

ND.HiemrchicalGau8sian

process

latentvadable

model8

[C]//Proceedin鲷

ofthe24thIntematio胍l

ConfeMn∞onMachineL髓rrIing,Cor睨ll抽,2007l

481-488

[13]

L且wrenceD.ProbabiIi8tic

n叽一iinearprincipalcomponent

且肿ly8iswithGau85ian

proces8

latent"riable

model5[刀.

Joumlof

MachineL龃mingRe8龃rch,2005.6(11)l1783—

1816

[14]

LBwrenceN

D.LocalDistancePrese九,ationintheGP.LvM

throughbackconstraint3[c]//Proceedingsofthe23rd

IntematiomlCbnfe爬nce

on

MachineL%rning,Pitt8burgh,

2006

513—520

[15]

Poggio

T。Gir05iF.Networkforapproximation且nd

l朗ming

[J].ProceedingsoftheIEEE。1990.78(9)l

148l—1497

[16]

ElgammalA.LeeC.Inferring3D

bodypose

fromsihouettes

u斫ng

acti、,ity

mallifold

l∞ming[C]//Proceedingsofthe

IEEEcomputerSocietyconferenceon

computef

Visionand

Pattem

Recognition,WashingtonD

C,2004:68l-688

层级潜变量空间中的三维人手跟踪方法

作者:韩磊, 梁玮, 贾云得, Han Lei, Liang Wei, Jia Yunde

作者单位:北京理工大学计算机科学技术学院智能信息技术北京市重点实验室,北京,100081

刊名:

计算机辅助设计与图形学学报

英文刊名:JOURNAL OF COMPUTER-AIDED DESIGN & COMPUTER GRAPHICS

年,卷(期):2009,21(5)

被引用次数:1次

参考文献(16条)

1.刘棠丽.吴心筱.梁玮基于非参数信念传播的可行C-空间关节人手跟踪方法[期刊论文]-计算机辅助设计与图形学学报 2008(04)

2.王西颖.张习文.戴国忠一种面向实时交互的变形手势跟踪方法[期刊论文]-软件学报 2007(10)

3.Athitsos V.Scaroff S Estimating 3D hand pose from a cluttered image 2003

4.Bray M.Koller-Meier E.Van Gool L Smart particle filtering for 3D hand tracking 2004

5.Wu Y.Lin J Y.Huang T S Capturing natural hand articulation 2001

6.Lin J Y.Wu Y.Huang T S3D model-based hand tracking using stochastic direct search method 2004

7.柳阳基于穿戴视觉的手势交互方法研究 2005

8.Isard M.Blake A CONDENSATION-conditional density propagation of visual tracking 1998(01)

9.Wang Q.Xu G Y.Ai H Z Learning object intrinsic structure for robust visual tracking 2003

10.Tian T P.Li R.Sclaroff S Tracking human body pose on a learned smooth space 2005

11.Hou S.Galata A.Caillette F Real-time body tracking using a Gaussian process latent variable model 2007

https://www.360docs.net/doc/e211711273.html,wrence N D Hierarchical Gaussian process latent variable models 2007

https://www.360docs.net/doc/e211711273.html,wrence D Probabilistic non-linear principal component analysis with Gaussian process latent variable models 2005(11)

https://www.360docs.net/doc/e211711273.html,wrence N D Local Distance Preservation in the GP-LVM through back constraints 2006

15.Poggio T.Girosi F Network for approximation and learning 1990(09)

16.Elgammal A.Lee C Inferring 3D body pose from sihouettes using activity manifold learning 2004

本文链接:https://www.360docs.net/doc/e211711273.html,/Periodical_jsjfzsjytxxxb200905015.aspx

授权使用:西安电子科技大学(xadzkj),授权号:2920c297-66b4-4e7f-90ee-9e9f018a6d8e

下载时间:2011年3月7日

相关文档
最新文档