基于主动视觉摄像机标定方法_胡占义.

1 154 计算机学 , , 报 , 20 0

2 年运动; (2 (

3 j ~ 1 2 … N } 同样满足投影关

系根据上面的两种算法之一求对应的H 。; , U U U l , 、、、 p l月 = ( p , A A ( A 一’ X , , 利用求得的多个不同的H C , 。 , 如第 3 节介绍的方法 Z, p

乡 X p 首先求矩阵、然后用 Ch o l e s ky K 分解法分解出矩阵 . {~ (p Z ` (A

一 X , 3, 本节介绍的方法可以说是至目前为止对设备要 ;X; 一 (p 3 A (A A , 一 ` X , 求最低从理论上来说非常完整的一种基于主动视觉的摄像机

标定方法该方法的唯一不足是在标定过程中把不同运动组看作是相互独立的没有当作一个整体来考虑这在实际应用中可能会产生对局部

噪声敏感的现象另外需要指出的是如果场景中含有平面信息最好使用算法法 2 , . . . {U 、 ` p 冰{ 二 j = , , (p、 , ( A一N , , ` X (28 , 1 2 … 式异 ( 25 中 4火 4 , 为一任意非奇 2 7 ( 矩阵式 ( 2 8 表明式中的投影矩阵和重 x , 洲 = 只A . {一 A 一’ x A 2 , o 来求解 H c . 由于算 1 建的空间点之间存在一个用定性

由于一个影变换 , . 4x 4 矩阵表示的不确 4x 4 中待定的未知变量比较少

所以一般比算法 . 矩阵在射影几何中表示一个射 : 的重建为射影重建( 注 , 的鲁棒性好些 7 所以称式〔 2 7 表示 A 如果不确定性矩阵是一个仿

射变换矩阵则式 , , 基于射影重建的标定方法李华等人吮〕最近提出

的基于射影重建的摄像 (2 7 称为仿射重建 ; 如果 A 是一个刚体变换矩

阵 . 则式 (2 7 称为欧氏空间重建即传统意义下的三维重建 , 机标定方法

是将多幅图像当作一个整体对待以期 , 给定 N 组 M 幅图像之间的对应

点以 ( i 一 , 1 2 , , 进一步提高算法鲁棒性的很好尝试基于射影重建的方法对摄像机运动的限制条件与第, . … M ;j 一 1 2 … ( 一1 2 … i , , , , , , ` N 射影重建下的投影矩阵尸 , , , 6 节中的方法 . M 可以很方便地计算出如文

献 [ 4 0 . 是一样的即要求摄像机至少作一次平移运动基于 4 1 〕介绍的

方法所以在讨论基于射影重建的标定 , 射影重建标定摄像机的重点不

是探索在哪种摄像机运动情况下摄像机的内参数矩阵可以线性唯一求解而旨在探索研究如何从多幅含噪声的图像中更鲁棒地对摄像机进

行标定当然基于射影重建方法 , . 方法时总假定当 (1 (H 、 , p `( i 一1 , ,

2 , , … M 是已知的 , , , . , P` ( i 一1 : 2 l , … M 求出后如果 , P l 、 ; , 0 e ` ( 注如

果 p 不是这种形式的话可以很方便 P 地通过一个仿射变换变成这种形式对其它从数学上可以证明有如下关于成立 , 、 , : 的前提是给定的多幅图像已包含了标定摄像机的必要信息而且一般来说要远远多于标定摄像机最少 , , H + e ` a T ` ` 岛 KR K一 , i 一2 , 3,… , M , (29 a 需要的信息从数学的观点来看间题类似于求超定方程的鲁棒解 . . . , 式 (29 中 , K 为待标定的摄像机的内参数矩阵 . 为一 ` 一个未知的三维列向量从上式可知一但我们能够 , 这里我们首先需要对射影重建作一点简单介绍所谓射影重建就是指给定 M 幅图像 N 组 M 幅图像之间的对应点 , 一 N (酥

表示在第 , , , 确定向量 , , a , , 无穷远平面的单应矩阵 i H , , . 的 ~ K风 K

i( 二2 3 4 … M 就可以得到从而如第 3 节所述, U *, (i= 1 , 2 , … , M , ; , 一 l , 2 , 可以线性标定摄像机式 ( 2 9 中第 i , R `是第 1 . 幅图像与幅图像之间摄像机的旋转矩阵 , , i 幅图像中的第 j 个对应点 1 2 4只 , , , 寻找 M 个 3x 4 t 一投影矩阵只’( (X l , … M 和由 N : 当图像之间摄像机的运动至少有一次为纯平移运动时不失一般性假定第 , 1 幅和第 : 2 幅图像之间 , 个点组成的点集, X : , … , X 、、 ( 即射影空间下摄像机的运动为纯平移运动此时 H : R 一I Za T 则 (30 重建的点坐标使得下列投影关系成立 U U U l , + e Za

T 、 . I , Z 或 H + e , 一舫七七七 p , X J , ~ ~ (H (H (H Z , , e , X X X , , 上式中 , , 又为未知标量从式 ( 30 a 向量可以线性求 o Z, p ZX p 3X , e e Z 解然后代入式 4 5 , ( 29 , 可以得到从一 K风 K 一` (i~ 3 , 3, , ~ 3 , 3 , … M , . 李华等人进一步研究了如何检测两幅图像之间 U均、 p , X , 一 (H、 , , e 、 X , , , 摄像机的运动为纯平移运动的条件检测的主要判 ( 27 . j ~ , l , 2 … , , , N l 2 … , 据是摄像机在两幅图像之间的运动为纯平移运动 : 很显然如果式 ( 2 7 中{尸2 , , M j = 1 ( … N } 满足投影关系即是一组可行的射影空间则式 (2 8 , x , , i~ ; , 的充要条件是两幅图像之间的基础矩阵为一反对称矩阵 . : 下的重建中的 {洲 , X二i = l , , 2 , …对; , 鉴于上述讨论本节标定算法的基本步骤为 , :

11 期 ( l 胡占义等基于主动视觉摄像机标定方法 : 115 5 从多幅图像中通过基础矩阵的性质 (是否为一反对 ; , t o r t o n i m s ls o de l d a n d a e e u r a e

e y e v a lu a t lo n , . IE E E , T r a n s Pa t te r n 称矩阵检测那两幅图像之间摄像机的运动为纯平移运动 (2 进行射影重建 An 6 a ly n a n M a e h in In te ll l g e a e n e e r a 1992 t on 14 ( 10 : 9 6 5 一 98 0 v 确定投影矩阵 a P , ; Zha u n g 2 Y o . F le ie x ib le i e a m e r a lib ro e i by ie w in g n a a p la n e

f r o m o n ( 3 根据式 ( 3 0 确定 ( 4 KR K 一 1 向量 ; kn w n o r n ta t o n s lo n , . In : P , In , t e r n a t io l C o n fer e n e e C _ o mpu e n t e r V is , K , e r ky u e u ra G . r e e e e 1999 w . 6 6 6一 6 7 3 y e a 根据式 ( 2 9 确定无 , 穷远平面的单应矩阵鱿 ~ 7 M

g X Q e L I H s e H e 2 Y la r A n e e a s : m t e r a e a l ib r a t o n i ; t ee

h n iq u h ln e ba V is d o n ir P o in , t s . In l , Pr n l o e h e 1 1 t h B r it is h , ( 5 如第 3 节所述利用 H 油线性标定摄像机的内参数 , M a e lo n Co n fe r e n e e B r 一s t o U t e d K in d o m 20 0 0 . 矩阵. K 4 9 6一 5 0 5 正如本节开始时所述的那样基于射影重建标 8 Ha b r t le y d n , R e a . E s t . im I a t xo n o f r e l a t iv u ro e e a m e r a Po s it io n s fo C r u n e a l

i - r a te m e r a s n : P ro e E p e a n , C a o n , f e r e n e e o n o mp u te r 定方法的主要优点是该方法可以利用所有图像的信 V is io 9 Sa n t a , M a rg h e r i t a L ig t e an u r e s e e It in ly t 1 9 92 e e . 579一 587 e n s 息从理论上来说其对噪声的抗干扰性要强该方法最关键的问题是在实际应用中能否很好地检测出摄像机的纯平移运动如果检测不准 , , . . , . Fa u g e r a s O D t e W ha r l be : n hr d im C o n , io n s w it h o n a n - u n e a li b r a s d s t e r e o g . I n P e r r o e E u r o p e a n f e r e n e e . C o m p u t er a V i i n o n , S , a n ta u , a 向量就会计 . M a rg h i . t a L ig u r e , I o t a ly s e 1992 一 5 63 一 5 7 8 a 10 M m y ba g k S J e a Fa . g e r a s 0 D A t heo r y f lf o e a lib r u t on i o f a 算不准确从而整个方法就有可能失效所以如何准确地检测摄像机的纯平移运动从而准确地计算 a , o v ln , m : e ra I n te r n a tlo n a l J o u r n a l o f C m p t er V i s 一 o n , 1 9 92 1l 8 (2 1 2 3 一 15 1 , 向量是需要进一步研究的课题 . Fa Je e ro u g e r a s O D m e r a Qu a n e r a a n L a : , St u r m P t o n . S e lf t o t 一 e a lib lf 一 ra t 一o n o f i a o n I D pr o o o - t v e i e a d i . ts p P lie a i h e s e e a lib r a t f a ZD t er p e 一 e t v e i , e a m In G a e r , P r o e Eu , r o p . e a n Co n fe r e n e e o n C r pu n 8 结论 V i 12 s lo r n e l y . F r e . ib u r r u g , m e a n y 1998 s 3 6一 5 2 r r o Ha n r a t R K pp 5 q u a t o n i d e iv e d f A n a m d t

h e fu hl n da m In e n t a l - t r lx , IE E E 19 9 7 s , T r a n s : P a t t er n ly s ls a n M a e n e t e l ll 本文介绍了文献中近年来在基于主动视觉的摄像机标定方面的研究进展并对不同方法的特点进行了简要评述基于主动视觉的摄像机标定方法由于要求知道摄像机的某些运动信息所以与自标定 , . g e n e e 19(2 V a n 133一 135 o o , 13 P o ll e f e y e a M . , G o e n l L . A s t r at if ie d a p Pr o a e h to te r , m e t r ie lo n s e lf - l ib r a t lo n In : Pr i t io IE E E C , o n fer r e n e e o n r a , Co m p u V is . a n d Pa tt e r n Reeo g n Sa n ta Ba ba C a li f o r n ia 19 9 7 407 一 412 方法相比似乎不那么完美然而自标定方法的非鲁 , , 14 P o ll e f e y r e e o n s s M e , Ko in In : e h R s , V o a n Go o l L . S e lf 一e a lib r w n a t o n i a n d m l o e t r le e ra 棒性又迫使人们不得不回过头来做一点基础的事 r 计算机视觉的发展进程似乎也一样 M a , . . tr u e t o n i p it e f In , v a r y in g a n d u n kn o in te r n a o n e a m p r a r a 计算视觉 h tt a iV e 15 m n t er s , . Pr , o e t e r n a t

一 o n a l C o n fer e n e e C r pu n t er V is io Ar m im ag 5 s B o m ba y I n d ia s e r 19

9 8 . 90一 95 的困难迫使人们回过头来研究定性视觉 ( q u a v t r o n g M . , Z is In e , m a n A , H p a r t e y l R fe . Self e e 一e a li b r C o a t 一o n u fr o m - i s io n t ic 目的视觉 in g v (pu . r p o s iv e v i s io n 和应用视觉 16 e t r p e t s i l : P r o e E u r o . e a n C o n r e n o n mp te r V i (p r a c is io n 自标定的非鲁棒性也会使更

多 , , . io n , C a m b r id g A , U K , 1996 . 3 一 16 He y de n s e A it s t r o m y K in g E a n u e l id e a k n o n r e e o ns t r u e t e n io n fr a n o m r 一 m a g a e 的人们转向

基于主动视觉的标定或更广义地讲基于知识 ( 运动知识场景知识等的标定 , q u e n e e s w P h v a r d u n w o n n f C o e a l l g th d p i n a n n e l p l Po i n t e r n t . In : r o e IE E E C , o n fe , r e n e e o mpu , t e r V is io . d P a t- Reeo g . n ltlo n Sa a n Ju ra n n o n Pu o o r e t o a Rieo f fi u 19 9 7 438一 443 参 1 考 H 文 M i . 献 D ir o 17 QUA N L v le S lf e 一e lib t i f a n o n e e r e a m s e r a o n , fr o m m , u l t ip

le : w s . I n te r n a t i o n a l J o u r n a l f C mp t V i i 19 9 6 1 9 ( 1 9 3 一 10 5 A b d e l A z iz f r o 一 Y a r a l , K a r a r a e e t e e li n t r a e a r t r an s fo r m di a t lo n . l8 H a n a r t e y l t R , H a y m o r a n In E , de Ag y s . a p it o L t e t a e , l t . Cam e r a e a li b r a t io n o n - m e o m p t or u e o o r d 一 n a t e s 一 n t o bj s p a e e e t r e o o r n a t e s ,

d h

e s e a r e h

f o fi n lt I o n n : , P r o e h 7 h I G n t e r n a t zo n a , l C AS P S 一 18 2 Fa I n : e e o u y m po s i m o n Cl o s e R a n

g e P

h o t o g mm y , 1971 1 : 1 f e r e n e e o n C mp u t e r V

i i K e r ky r a re e e e 19 9 9 . 510 一 517 e r a s g O D , T o s e a n o n i G . T he o n e a lib o r a t o n i p r o b le m f o o n a n r s t e r e o · l 9 L a n e l C he e a n g , Wu s e Fu 一一 Ch a a o , H . u Zh ta a n 一 . Yi t o Th e K r u pp a , e q u a t o n i , P g r o e IE E E i o n , C a f e r e n e e , C o r e m a r , Pu t e r V i i . s d P a t t e r n d : m e r a lf e a lib r t on i Ae A u m a t ie a S in ie a 2001 27 R 3 n lt , Mi m R K . l B e a e e e h F l id 1986 1 5一 2 0 to n o (5 o u s a n 62 1 一 6 3 0 ( i n , , C h in e s e . Ku r p T s a i R L e n z A n t h n 一q u e e a fo a f u ll y . a u m d e ffi - (雷成吴福朝胡占义 , P 方程

与摄像机自定标 a e a : . 自动 l e ;e n t 3D u . r o bo t i e s H a a t lo n e , d /E y , li b r t io n 班EE e a T r a n s Ro bo t :e s 化学报 20 2001 . , 27 (5 一e : 6 2 1 一 6 30 io n n o a n d A s a to m An a e 1989 n 5 (3 : 3 4 5一 3 58 t e e a H a r t e l y R S e lf a l ib r a t f , s t at o n a r y i , m e r a s . In t e r n a t io n a 4 T i R ff i e i e e v t n a n d In a e e u r a : m e r a li b r a t o n i t e e h n iq u e J 21 o u r n a a l o . f Co m pu A s e t er a V is io a 1997 22 (l e 5一 2 3 t lv e : v fo r 3D m n a n hi n is io . P r o e IE E E C , o n fer a e e n e e o n C a o , m Pu t e r . M 5 D lf 一e ll b r A 一 t o n i t ee a hn lq u , fo , r a e i io s n s y s t e m · V is io d Pa t te r n Re e o g n zt zo n M ia m l Be h , F l o r id 19 8 6 IE E E T r a n s Ro bo t u u t o m , t io n 1996 a n 一 12 ( 1 1 14 一 12 0 e a 36 4 一 3 7 4 5 2 , L e l C he t o n n g , Wu F C hao e Hu Zh a e t v e Y l . A s n e w . m e r a s e lf 一 e a l - Wen g J Y C o he n P , He r n lo u . M Cam e r a e a lib r a t o n i w it h d l s - ib r a i m e t h od bas d o n i v is lo n y s t e m C hln e s e Jo u r n a l

115 6 计 t r es , 算机学 n 报 iq u a e 20 02 年 a r e , o o fC m pu 2000 , , 23( 11 . : 1 1 30 一 1 1 3 9 ( in C h i n e s e ba s e d o n p r o je e t iv e r e e o n s t r u e t io n . Jo u r n a l o f So ft w (雷成吴福朝胡占义 , . 一种新的基于主动视觉系统的摄像 , ,

2 0 0 0 2

3 ( 22 to pp e a r , ( in C h in . e s e 机自标定方法 23 计算机学报 L i Hu

a , : 1130一 2139 a e (李 ba s e 华胡占义基于射影重建的线性摄像机自标定方法软 , . W u Fu C h e a 一 a o , Hu Zh te e a n 一 Y i e . . A A e n e w t to iv e v i s io i n d , 件学报待发表 33 m e r a , s e lf 一e a li

b r a t o n i h n iq u t a Au m a t ea S in

ie a Wu e a r Fu e a , 一 Ch e r a a o , H lf u Zh a n 一 Y i io . A . n e w th s e e o r y a n d l a lg o o r it h m o f lin te - 20 0 1 2 7 ( 6 : 7 3 6一 7 4 6 ( in C h i n , . e s e m s e : e a l

诬 br a t n C hine Jo u r n a f Co m Pu r s , ( 吴福朝 , 李 , 华胡占义基于主动视觉的摄像机自标定方法 , 20 0 1 24 (11 , 1 1 2 1 一 11 3 5 ( i n C h i n . e s e 研究 24 . 自动化学报 Ma 5 . 2001 , 27 (6 e a : 7 3 6 一 74 6 a ( 吴福朝 v a n 胡占义 24( 12 a

o , 摄像机自标定的线性理论与算法 1 12 1 一 11 3 5 u . 计算机学 h e in f in it u W e i G Q r a , D . C o e a m e r a l ib r In t io n by n is h in g P o 止 n ts a n d , 报 4 3 h

o , 2001 F o u 一 , : e r o s s t io In , : Pr . IE E E t e r n at o n a i l Co fer e n e e A SSP Wu Ch H a n Zha e a : n 一 Yi . T he de s e te r r a m in i o n . a t o n i o f t e B ib R e f 25 L i 5 L . e e 1 98 9 16 3 0 一 1 6 3 3 e r a e a m g , r a ph y , d m e r a lf 一e a l ib t A e ta A to m a t e a i M X n . Ca m : l ib a r ro t io n e a n o f a H e fer a d Ey e o n 一 s y s te m f o r a e t iv e v i - S in ie a 20 0 2 , 28 (4 . 4 8 8 一 4 96 ( in C h in e s e io In o P , r o e E . u p C o n e n e e C o m Pu te r V is i o n , ( 吴福朝胡占义 . 线性确定无穷远平面

单应矩阵的确定和摄 , S 26 t o e r o n kh l m L s e . 1994 543一 554 n a 像机标

定自动化学报 lf 一 2 00 2 e r a , 28 (4 a : 4 5 5一 4 96 te r n rs D D y mi . e n : e a m e r a s e e a lib a r o n t io n f r o m C e o n t r o o ll d m e r e o - 35 W i a n W i n , X ti u v e G Y v . C o n a m y s p . r m a P a e e s t im g a t io n a n d e v a , lu a - t io n a n q u e n e e s I P r o e IE E E C , f e r e n e e o n , . m Pu t Vi i s o n t o n a e i i s s te m t t e R e e o n it io n , 1 9 96 29 d P s u a t t e . r n R e t e e o g n i t io a n N ew : Yo r k e r n a 1993 5 0 1 一 50 6 gy o n a n : ( 3 4 3 9一 4 4 7 27 Ba I n : A A ive e a li b r o n t io n A lt o n . t iv u e s t r a te s d a n a ly s i s a · 36 W r o e i G Q e , A s r b te r K a n o , Hi r z in e r e e g r G . A e t iv e s e lf o e a lib r a t io n o f - P o r o e IE E E C , f e re n e e , C o mp t e r V i i a n d P tt e r n b o t ie . ye a n d H 一 d Ey la t i o d A n s h iP s w it h m m a t de l i d e n t i f i e a , Ree 28 g n it i o n , N e w Yo . r k 1993 495 a 一 500 o s . t o n i IE E E T r a n s R b o t ie s a n u t o io n , 1998 14( l : 158 D o u F L e a B r a dy M r a e Self v 一e li b r n s a t o n i f t he i n : t r n s e i i Pa r a m e t e r s 一 16 6 37 f m o n e r a s fo t iv e is io n y s te m In P n ro e IEE E n , C o n fe o r r - Ha Pa r t e l y r n R A . In n a defe n a n s e o f a e t he e 一 s p o in t a lg o r , it h m . IE E E T , ra n s : e n e e Co m Pu

t er V i s io a n d Pa t te r n Ree og i t io Ne w Y k , tt e l y s is d M h in In t e l li g e n e e 1997 19( 6 580 1 9 93 4 7 7 一 4 8 2 . 一 59 3 g , 29 Y a n s e g C han g e a s e 一 Jia n o Wan s g p W t e i e , , H r s u Zha s e n 一一 Y i . A i n a e t iv e te e v is io n e . 38 Lu a o n o r g Q T s , , F a u g e r a s 0 D . T h e fu a n a : n . da m In e n t a l m i a tr ix : Th e o r y o , ba d m e r a u r n a in t r in ie a r a m t e lf e a lib r : a t o n h n iq u lg it h m te r a n d n , s t a b i li t y , ly s is t er n a t on a l Jo u r n a l f C hi ne n e s e Jo , l f Co mpu e r s 1998 21( 5 , 4 2 8 一 4 3 5 ( in C h i - Co m Pu 39 V is io , 1996 17(l . 43一 75 . Ha a r t le y R de , St t a n u r m P , T r ia 1997 A f a t u r e , n g u la t i o n : C o mpu te r V is io n a n d Im - ( 杨长江汪 . 威胡占义 , . 一种基于主动视觉的摄像机内参数 , g e U n r s d in g s 68 ( 2 t o a n r 146一 157 自标定方法 30 计算机学报 H r u a e 2 9 95 , 22( 5 i . : 4 25 一 4 3 5 40 一e S tu r a m P e T r ig g B . e iz a t o n i ba . s e d a l即r it h m f o r o e , r m u lt i o - Y a t g r C e J , 2 Y t . A is io e o , n n n i s n tr i n s e p a

ra : m Pr e te r s o e s e lf a li b r a t i o n im g p r o j e e t o i v e s t r u e d m , o t i o n I e n : , P E u ro Pe a n . C n t e e h n iq u e n e e fo P u iv e v y s t e n , m In In t er n a t o n a

i l Co n - fer 4l e n e e o n C , m Pu t er V is io F t t . n C a m b r id g r z a U K m e 1996 r

70 9 一 7 2 0 p fer 31 o n , a t t e u r n Re a o . g it io Zh B ri s b a n e n e o , 1998 . 6 7 一69 e a , U a n e s h i ba e u e T lid i To m i ta r e e o n s A fae t o n to i t o n i t ho d f o p e r s r je o v e v e t正 e v s Li H e a u a r a : W F 一 Ch i H u a n Yi . A l w li o n e a r u m e r a s e lf - d a e a n e r u e i f . r o m m n : u l ip le E y , t p e e t i ie w l ib t io n te e h n qu e Chi n es e e s e J o u r n a f C mp t e r s 2000 , 23 v i it e C o r a t v e t er , d Pt h n e s , im a t o n i I , P r o e u r o p e a n . C o n f e r e n e e ( 1 1 1 1 2 1 一 1 1 2 9 ( in C h in (李 , , . . o n mpu V is io s e r F re . ib u r g Ge r m a n 19 9 8 2 9 6一 3 1 0 e o 华吴福朝胡占义一种新的线性摄像机自标定方法 , 42 H e r a r t le y R s Z is a m a n e , A M u l t ip le V i e w G : m e t r y in C o m p u P r e s s , t - 计算机学报 32 L i Hu a , 2000 , 23 (11 一 : 1 1 2 1 一 11 2 9 e a r e a Vi i o n . C m b r id g UK C m b a r i dg e U n i v e r s it y 2000 H u Zh a n Y i . A li n e m r a s e lf e a li b r a t io n t ee h - H U Z ha Ph . . n 一 Yi , m a le . , bo r n in 1 9 6 1 . D a r e , P r o fe r o s s o r His isio a n , r e s e a r e , h in te r s e a r e WU h eo n s t r u e r e n e r n F u C ha 一 o 5 , m a le n e o ,

b u o r n in v 19 57 s , p r o fe s so r n e u . His e r e _ es t s e a in e a bo t t v n w h ie h i n e l u d e 3D r e e o n s t r u e r - in t e r e s t s t 1 i iv e m P n te r , i i o n , w hi h i e l d o e 3D a r e - m e r a , l ib r a i o n d e o io . n , ae t v i io s a n d im a ge b a se d m d li n g n d t io n e x a e t iv e e v v is io i s io a s e n n g g u m e t ie P r im it i v t n a v re n e - d i g tra o n , t io n a , i de d e r o bo a n ig a t i im g e b d m o d l in g d d e r -