基于图像特征和光流场的非刚性图像配准

第25卷 第9期

2017年9月 光学精密工程

Optics and Precision Engineering Vol .25 No .9 Sep .2017

收稿日期:2017-03-06;修订日期:2017-05-28.

基金项目:国家自然科学基金资助项目(No .81671848,No .81371635);山东省重点研发计划资助项目(No :

2016GGX 101017)文章编号 1004-924X (2017)09-2469-14

基于图像特征和光流场的非刚性图像配准

纪慧中,贾大宇,董恩清*,薛 鹏,唐振超

(山东大学(威海)机电与信息工程学院,山东威海264200)

摘要:考虑传统非刚性图像配准方法无法同时满足配准精度和配准时间要求,综合图像的特征和灰度信息,提出了几种改进的非刚性图像配准方法:基于圆形描述子特征的非刚性配准方法(Circle Descriptor Feature ,CDF ),基于动态驱动力Demons 的非刚性配准方法(Dynamic Driving Force Demons ,DDFD ),和基于图像特征和光流场的非刚性配准方法。CDF 方法通过提取图像的特征点,采用圆形描述子代替传统方法的正方形描述子来保证图像的旋转不变性,提高配准

速度;DDFD 方法通过引入驱动力系数动态改变驱动力,有效地解决了传统方法配准时间和配准精度低的问题;基于图像特征和光流场的非刚性配准方法则首先提取浮动图像和参考图像的特征点,然后利用提取的特征点进行粗配准(特征级配准),再采用基于光流场的方法进行精细配准(像素级配准),最终实现配准精度和配准时间的兼顾。对checkboard 测试图像、自然图像、脑部M R 图像、肝部CT 图像进行了实验测试,结果表明,本文方法在配准时间、配准精度及对大形变图像的适应性方面均优于传统尺度不变特征转换(SIFT )、加速鲁棒特征(SURF )、Demons 、Active Demons 和全变差正则项-L 1范数项(T V -L 1)等方法。

关 键 词:图像配准;非刚性配准;特征提取;光流场模型;圆形描述子

中图分类号:T P 391.4 文献标识码:A doi :10.3788/OPE .20172509.2469Non -rigid registrations based on image characteristics and optical flows

JI Hui -zhong ,JIA Da -y u ,DONG En -q ing *,XU E Peng ,T ANG Zhen -chao

(School o f Mechanical ,Electrical &In f ormation En g ineering ,

Shandon g Universit y ,W eihai 264200,China )

*Corres p onding author ,E -mail :en q dong @sdu .edu .cn

Abstract :As the non -rigid image registration methods can not meet the requirements of registration accuracy and registration time simultaneously ,three kinds of improved non -rigid registration methods are proposed based on image characteristics and image gray .T hese non -rigid registration methods were based on the Circle Descripto increases Feature (CDF ),Dynamic Driving Force Demons (DDFD )and image characteristics and optical flow ,respectively .In CDF method ,feature points were extracted from the images ,and the circle descriptor is used in the method instead of square descriptor in classical methods ,by w hich the rotation invariance was maintained and the speed of the registration was increased .In DDFD method ,the driving force was changed by introducing the driving force coefficient ,so that the registration time and registration accuracy were improved effectively .In registration methods based on image characteristics and optical flow ,the feature points were extracted 万方数据

基于特征点图像配准方法的应用研究

基于特征点图像配准方法的应用研究 【摘要】针对常用的图像配准技术配准精度不高的问题,本文首先采用RANSAC算法剔除SURF算法初匹配中的误匹配对,再在初次提纯的匹配对中进行欧氏距离排序,提取距离最小的有限匹配对作为最终的匹配结果。通过实验表明该方法配准精度高,效果好,为后续图像的融合拼接打下良好的基础。 【关键词】RANSAC算法;SURF算法;图像配准 引言 随着传感器技术和计算机计算能力的提高,图像处理技术在社会生活中的应用越来越广泛。但是由于客观问题及图像传感器本身的局限性等会造成采集到的图像模糊、不完整等问题,因此采用图像处理技术对图像进行配准拼接处理获取完整的图片或者较宽视觉的图片就非常必要。本文采用基于SURF算法二次匹配法,对图像的特征点进行配准,配准精度得到明显的提高。 1、基于SURF算法初匹配存在问题的分析和解决方法 SURF算法[1]一般用特征矢量间的欧氏距离作为待配准图像的匹配判断矢量。匹配就是对于图像A中某个特征点,找出图像B中与它欧氏距离最近的特征点,简单地说,如果最近的距离小于某个阀值,则认为这两个点被匹配。 令A图像中的特征点描述子集为基准集,B图像中的特征点描述子集为目标集,通过欧式距离相似度判定度量,对每个qj我们在基准集中都能找到与其欧式距离最近的pi,这样qj和pi就构成一个匹配对。虽然匹配对中的两个特征点描述子的欧式距离最近,但这并不意味着它们对应相同的图像区域。在正确的匹配对中的两个特征点描述子的欧式距离会很小,理想状况下为零。但是当qj 与基准集中多个点的欧氏距离相近的时候,在判断时qj与它最近邻构成的匹配对就有可能是错误的匹配。 上述的分析表明,采用SURF算法对图像进行匹配,对于特征丰富的图像,往往得到数以百计的特征点匹配对,而且具有一定的误差性,存在错误的匹配对。因此就需要后续的检验过程,提高配准精度。 配准后的图像要转换到同个坐标下,才能进行拼接融合。这就涉及到图像变换模型。从图像变换模型的要求[2]中,我们知道,只要有3对对应的匹配对,我们就可以计算出两幅图像间的变换关系。在此我们先采用RANSAC算法消除错误匹配提高配准精度,以便得到更加精确的变换参数矩阵,便于后期的融合拼接。 2、基于RANSAC剔除误匹配提高配准精度的实现方法

基于图像特征和光流场的非刚性图像配准

第25卷 第9期 2017年9月 光学精密工程 Optics and Precision Engineering Vol .25 No .9 Sep .2017 收稿日期:2017-03-06;修订日期:2017-05-28. 基金项目:国家自然科学基金资助项目(No .81671848,No .81371635);山东省重点研发计划资助项目(No : 2016GGX 101017)文章编号 1004-924X (2017)09-2469-14 基于图像特征和光流场的非刚性图像配准 纪慧中,贾大宇,董恩清*,薛 鹏,唐振超 (山东大学(威海)机电与信息工程学院,山东威海264200) 摘要:考虑传统非刚性图像配准方法无法同时满足配准精度和配准时间要求,综合图像的特征和灰度信息,提出了几种改进的非刚性图像配准方法:基于圆形描述子特征的非刚性配准方法(Circle Descriptor Feature ,CDF ),基于动态驱动力Demons 的非刚性配准方法(Dynamic Driving Force Demons ,DDFD ),和基于图像特征和光流场的非刚性配准方法。CDF 方法通过提取图像的特征点,采用圆形描述子代替传统方法的正方形描述子来保证图像的旋转不变性,提高配准 速度;DDFD 方法通过引入驱动力系数动态改变驱动力,有效地解决了传统方法配准时间和配准精度低的问题;基于图像特征和光流场的非刚性配准方法则首先提取浮动图像和参考图像的特征点,然后利用提取的特征点进行粗配准(特征级配准),再采用基于光流场的方法进行精细配准(像素级配准),最终实现配准精度和配准时间的兼顾。对checkboard 测试图像、自然图像、脑部M R 图像、肝部CT 图像进行了实验测试,结果表明,本文方法在配准时间、配准精度及对大形变图像的适应性方面均优于传统尺度不变特征转换(SIFT )、加速鲁棒特征(SURF )、Demons 、Active Demons 和全变差正则项-L 1范数项(T V -L 1)等方法。 关 键 词:图像配准;非刚性配准;特征提取;光流场模型;圆形描述子 中图分类号:T P 391.4 文献标识码:A doi :10.3788/OPE .20172509.2469Non -rigid registrations based on image characteristics and optical flows JI Hui -zhong ,JIA Da -y u ,DONG En -q ing *,XU E Peng ,T ANG Zhen -chao (School o f Mechanical ,Electrical &In f ormation En g ineering , Shandon g Universit y ,W eihai 264200,China ) *Corres p onding author ,E -mail :en q dong @sdu .edu .cn Abstract :As the non -rigid image registration methods can not meet the requirements of registration accuracy and registration time simultaneously ,three kinds of improved non -rigid registration methods are proposed based on image characteristics and image gray .T hese non -rigid registration methods were based on the Circle Descripto increases Feature (CDF ),Dynamic Driving Force Demons (DDFD )and image characteristics and optical flow ,respectively .In CDF method ,feature points were extracted from the images ,and the circle descriptor is used in the method instead of square descriptor in classical methods ,by w hich the rotation invariance was maintained and the speed of the registration was increased .In DDFD method ,the driving force was changed by introducing the driving force coefficient ,so that the registration time and registration accuracy were improved effectively .In registration methods based on image characteristics and optical flow ,the feature points were extracted 万方数据

图像配准技术方法研究

图像配准技术方法研究 摘要随着信息技术的迅猛发展,图像配准技术已经在军事、遥感、医学、计算机视觉等多个领域得到了广泛的应用。图像配准技术是图像处理的一个基本问题,它是将不同时间、传感器或视角下获取的相同场景的多幅图像进行匹配的图像处理的过程。三类图像配准的方法大致如下:基于灰度的图像配准方法。基于变换域的图像配准方法。基于特征的图像配准方法。本文将应用这三种方法对图像配准进行研究。并重点研究基于特征的图像配准方法。 关键词图像配准,特征点匹配,灰度插值,控制点的提取 Abstract The technology of image registration is being widely used in the military, remote sensing , medical, computer, visual and any other fields with the rapid development of information technology. The technology of image registration is a kind of process to match different pictures getting from different periods and different cameras but a same scene, it is a basic point to handle the pictures. There are three kinds of ways to do the image registration:According to the level of the color of gray getting from the pictures.According to transforming domains.According to the features The three kinds of ways will be used to discuss the image registration in the thesis, and the way according to the features will be discussed more in the thesis.

非刚性医学图像配准算法的设计与实现

【关键词】医学图像;非刚性;图像配准;匹配矩阵;薄板样条 摘要:非刚性图像匹配问题已成为医学图像分析中一个非常具有挑战性的问题。基于薄板样条插值方法 ,引入实匹配矩阵,并给出相应配准变换算法,该算法将薄板样条参数表示成仿射分量和非仿射分量,并分别进行求解。与其它非刚性匹配算法相比,该算法不仅保证了对应特征点的双向对应,也实现了自动特征点选择,实验结果令人满意。编辑。 关键词:医学图像;非刚性;图像配准;匹配矩阵;薄板样条 1引言 在医学诊断和治疗过程中,常需要对比分析多幅图像,以获得更为精确和全面的信息。图像分析大都要求多幅图像的几何位置一致,因此,配准是医学图像分析的一个重大课题。医学图像配准是指对于一幅医学图像寻求一种(或一系列)空间变换,使它与另一幅医学图像上的对应点达到空间上的一致。这种一致是指人体上的同一解剖点在两张匹配图像上有相同的空间位置。配准的结果应使两幅图像上所有的解剖点,或至少是所有具有诊断意义的点及手术感兴趣的点都达到匹配。图像配准不仅可以校正病人多次成像间的位置变化,也可以校正由于成像模式本身导致的畸变。对同一个病人的不同时间的图像进行配准,可以了解发育过程及肿瘤病变的病情;对不同人的图像进行配准,去除种族、年龄等临床及遗传差异,从而形成疾病或人群特异性图谱,可用于正常与否的分析;对不同成像模式进行配准,可以获得互补信息。 医学图像配准可分为刚性配准和非刚性配准两类。刚性配准在许多情况下不能满足临床的需要,因为很多形变的性质是非刚体、非线性的。比如为了精确定位mr图像左心室,常常伴有组织磁化系数差异、非水分子的化学位移以及血流流动等因素导致的几何畸变以及由于磁场不均匀、磁场梯度非线性及涡流等导致的探测畸变,因此在放疗计划制定中,将mr图像配准时,不能单纯地使用刚性配准,必须使用非刚性配准。 非刚性配准算法可分为灰度驱动、模型驱动及混合算法三种[1~3]。灰度驱动方法基于数学或统计尺度将一个灰度模式与另一个对准。典型情况下,需要定义源系统与目标系统之间的灰度相似性的数学量度。灰度相似性测度包括象素灰度的均方差、相关或互信息。模型驱动方法首先建立明确的几何模型,以此表示解剖标志。这些解剖标志包括有重要功能的表面、曲线和点。将源系统的解剖标志参数化,与目标系统的对应部分对准,以这种对应关系引导系统其余部分的变换。模型驱动算法包括点约束法、线约束法和面约束法。混合算法是结合使用以上两种算法的方法。薄板样条插值方法是非刚体变换中的一种特殊的变换,它允许局部调整,并符合某种连续性或平滑性要求。第2节讨论刚性能量函数;第3节给出非刚性能量函数;第4节设计并实现一个非刚性配准算法;最后给出实验结果。 2刚性能量函数 本研究之所以采用薄板样条,是因为它的独特性质,就是能够将空间变换分解为一个全局仿射变换和一个局部非仿射变换。booksteein[4]首先将薄板样条函数应用于标志点的匹配,结果证明它是一个非常有用的形状分析工具。假设在二维空间,已知两个具有n对对应点的点集,q={qi,i=1,2,…,n}和p={pi,i=1,2,…,n},将点集q,p表示为: q=1 x1 y1 1 x 2 y2 ……… 1 xn ynp=1 x1 y1 1 x 2 y2 ……… 1 xn yn 下面我们建立从点集p到点集q的薄板样条映射f(pi),由于薄板样条是不对称的,因此从

多模图像配准融合

多模图像配准融合

浅析多模态医学图像的配准与融合技术 来源:本站原创作者:朱俊林发布时间:2009-06-07 1 医学图像的配准技术简介 医学图像的配准技术是90年代才发展起来的医学图像处理一个重要分支, 并且日益受到了医学界和工程界的重视。医学图像的配准是指对于一幅医学图 像寻求一种或者是一系列的空间变换,使两幅图像的对应点达到空间位置和解 剖结构的一致,这种一致是指人体上的同一解剖点在两张匹配的图像上有相同 的空间位置。简单地说医学图像配准就是解决两幅图像的严格对齐问题。配准 的结果应使两幅图像上所有的解剖点,或至少是所有具有诊断意义的解剖点及 手术感兴趣的点都达到匹配。 医学图像的配准按图像来源分为:单模态(mono-modality)与多模态配准(multi-modality)。单模态配准是指对来自同一成像设备的不同时刻或不同角 度的图像进行配准。但在实际临床应用中,单一模态的图像往往不能提供医生 所需要的足够信息,通常需要将不同模态的图像融合在一起得到更丰富的信息 量,从而作出准确的诊断,制订出合适的治疗方案。所谓多模态配准,是将来 自不同形式的医学图像进行空间上的对准,将对应的相同解剖位置标记出来以 实现图像融合和进一步后期处理。多模态图像之间的配准使用最频繁,主要应用在诊断方面,可分为解剖—解剖的配准和解剖—功能的配准两大类,前者将显示组织形态学不同方面的两幅图像混合,后者将组织的新陈代谢与它相对于解剖 结构的空间位置联系起来。目前,主要的研究工作重点是进行CT、MRI以及PET、fMRI等图像的配准。 2 医学图像融合技术简介 医学图像的融合是指将两幅(或两幅以上)来自不同成像设备或不同时刻获 取的已配准图像,采用某种算法,把各个图像的优点或互补性有机结合起来, 获得信息量更为丰富的新图像的技术。医学诊断往往要综合许多不同信息进行, 传统的方法是,临床医生利用灯箱分别观看这些胶片,综合对比,得到结果。 如果能够把这些互补信息以某种方式综合在一起作为一个整体作为医学诊断的 依据,使得临床医生只要在一张综合图像上就能看到不同原始图像的信息,那 么就能提供全方位的信息细节。 3 医学图像配准及融合的关系及意义 医学图像的配准和融合有着非常密切的关系,特别是对于多模态图像而 言,配准和融合是密不可分的。配准是融合的前提,也是决定图像融合技术发 展的关键技术,若事先不对待融合图像进行空间上的对准,那么融合后的图像 也是毫无意义的。融合是配准的目的,通过来自不同影像设备的图像融合,可 以得到更多的信息,提高影像数据的利用率。在多模态医学图像信息融合中, 是要把相对应的组织结构融合在一起,而待融合的图像往往来自不同的成像设 备,它们的成像方位、角度和分辨率等因素都是不同的,所以这些图像中相应 组织的位置、大小等都是有差异的,必须先进行配准处理,才能实现准确地融 合。

图像配准技术研究进展

第14卷第6期2007年12月 电光与控制 EU£CTRONICSOPTICS&CONTROL V01.14№.6 Dee.2007 文章编号:1671—637X(2007)06—0099—07 图像配准技术研究进展 刘松涛,杨绍清 (海军大连舰艇学院信息与通信工程系,辽宁大连116018) 摘要:图像配堆是解决图像融合、图像镶嵌和变化检测等问题的必要前提。其应用遍及军事、遥感、医学和计算机视觉等多个领域。筒要回顾了图像配准技术的发展史和研究现状.重点阐述了当前的技术热点和应用趋势,最后展望了进一步的研究方向。 关键词:图像配准;信息论;非刚性配准;虚拟结构 中图分类号:V243.6文献标识码:A Progressinimageregistrationtechniques LIUSong—taa,YANGShao—qing (Oept.ofInformation&CommtmicdionEt,g泌rit,.g,DafianNavalAcademy,Dalian116018,舀白Ⅺ) Abstract:Imageregistrationisessentialforallimageanalysistaskslikeimagefusion,imagemosaicandchangedetection.Itisusedwidelyinmilitarysystem,medicalimaging,remotesensing,computervision,etc.Thehistoryandcurrentetatusofimageregistrationtechniquesfirereviewedkeflywithemphasisonitscurrenttechnicalhotspotsandapplicationtrends.Someinterestingaspectsforfurtherstudya”pointedoutintheend. Keywords:imageregistration;informationtheory;110n—rigidregistration;virtualstructUre 0引言 图像配准是许多应用问题必须的预处理步骤,比如:时序图像的变化检测或多模图像融合,这些问题遍及军事、遥感、医学、计算机视觉等多个领域。许多领域都需要图像配准,实际应用过程可能会有所不同,但其中关键的因素是类似的。概括地说,图像配准是对取自不同时间、不同传感器或者不同视角的同一场景的两橱或多幅图像进行最佳匹配的过程,包括像素灰度匹配和空间位置对齐。 配准方法的分类可以依据不同的准则。Bro.wn…依据变换模型的复杂程度对配准方法进行分类,并归纳了配准技术的实现步骤:特征空问、相似度测量、搜索空间和策略。Maintz”1等则提出了9 收稿日期:2006—03—09修回Et期:2006—05—15 基金项目:国防预研基金资助项目(51403030604JBl40I);国家自然科学基金资助项目(60572160) 一 作者简介:荆松涛(1978一),男,河南孟津人,博士,主要研究方向为图像融合、耳标识别、成像跟踪、DSP开发 等。条分类准则,依次为:图像维数、配准特征的来源、变换模型、坐标变换域、交互性、优化策略、成像模式、配准对象、配准目标的特点等。作者参考Brown和Mainlz的分类方法,将配准技术概括为8个方面,包括:配准对象、特征提取、特征匹配、变换模型、优化策略、坐标变换与插值、系统实现及算法评估,并考虑每项内容的技术特性进行细分,然后依据某一算法的创新点进行分类。囊括所有方法的分类准则是不存在的,所提方法侧重于从总体上对配准方法进行考察,是一种相对能反映配准方法本质特征的分类方法。依据新的分类准则,作者已对图像配准技术的8个子方向进行了系统研究uJ。 1发展史和研究现状 国外从20世纪60年代就开始在图像配准领域进行研究“】,但直到1980年代才开始引起学者们的关注。到上世纪末,单模图像配准问题已基本解决,但多模图像配准由于涉及模式和领域的复杂性.仍需密切关注。国际上对图像配准技术曾做过调查”】,其结论是1990年代初技术文献明显增加。而

图像识别匹配技术原理

第1章绪论 1.1研究背景及意义 数字图像,又称数码图像或数位图像,是二维图像用有限数字数值像素的表示。通常,像素在计算机中保存为二维整数数组的光栅图像,这些值经常用压缩格式进行传输和储存。数字图像可以由许多不同的输入设备和技术生成,例如数码相机、扫描仪、坐标测量机等,也可以从任意的非图像数据合成得到,例如数学函数或者三维几何模型,三维几何模型是计算机图形学的一个主要分支。数字图像处理领域就是研究它们的变换算法。 数字图像处理(Digital Image Processing)是通过计算机对图像进行去除噪声、增强、复原、分割、提取特征等处理的方法和技术。数字图像处理的产生和迅速发展主要受三个因素的影响:一是计算机的发展;二是数学的发展(特别是离散数学理论的创立和完善);三是广泛的农牧业、林业、环境、军事、工业和医学等方面的应用需求的增长。 图像配准(Image registration)就是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程,它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。 图像配准的方法迄今为止,在国内外的图像处理研究领域,已经报道了相当多的图像配准研究工作,产生了不少图像配准方法。总的来说,各种方法都是面向一定范围的应用领域,也具有各自的特点。比如计算机视觉中的景物匹配和飞行器定位系统中的地图匹配,依据其完成的主要功能而被称为目标检测与定位,根据其所采用的算法称之为图像相关等等。 基于灰度信息的图像配准方法一般不需要对图像进行复杂的预先处理,而是利用图像本身具有灰度的一些统计信息来度量图像的相似程度。主要特点是实现简单,但应用范围较窄,不能直接用于校正图像的非线性形变,在最优变换的搜索过程中往往需要巨大的运算量。经过几十年的发展,人们提出了许多基于灰度信息的图像配准方法,大致可以分为三类:互相关法(也称模板匹配法)、序贯相似度检测匹配法、交互信息法。 目前主要图像配准方法有基于互信息的配准方法,基于相关性的配准方法和基于梯度的配准方法。其中基于梯度的方法基本很少单独使用,而作为一个辅助

在图像配准中应用想法

在图像配准中,数字图像的角点一般被选为特征点,它是图像中轮廓线上曲率的局部极大值点,是数字图像中非常重要的特征[31]。 有两种算法用于数字图像中角点的检测:一是基于图像灰点的算法,这种角点检测算法主要是通过计算在局部范围内的图像灰度和梯度变化极大值点来作为角点;另一个是基于图像边缘的算法,这种角点检测算法要先检测图像的边缘,再将边缘方向有突变的那些点选取作为检测出的角点。计算曲率以及梯度的算法时这类角点检测需要用的,因为它不用检测图像边缘,计算时间就有所缩短,因而被广泛用于实际操作中。 数字图像中角点为重要图像特征,作为配准特征在图像配准中常被使用。为了对角点特征了解的更多,本节重点介绍几种常用的角点检测算法[32]: 式中,det表示矩阵的行列式;trace 表示矩阵的迹(也就是矩阵对角线元素的和);k代表常数,通常为 0.04。角点就是CRF处于局部极大值的点。 下面就是详细操作步骤: ①针对灰度图像I中的每一个像素,对其x方向以及y 方向分别计算一 阶导数,还要将两个一阶导数相乘。计算时采取的具体计算法和卷积类似,使用的模板分别为:

在图像 I 上不断移动,在移动至每一位置都进行模板对应中心像素梯度值的计算,从而得到处于两个方向上的两幅梯度图像。然后再将每个像素所对应得两个方向上的梯度相乘,第三幅图像就形成了,三幅图像中的每一像素分别表示Ix,Iy和IxIy。 ②分别对通过步骤①计算所得的三幅图像进行标准差为σ的高斯滤波。 具体来说就是对这三幅图像分别运用高斯模板进行卷积。 将原始图像上的角点响应函数值计算出来。计算法有以下两种: 其一为经典的Harris算法。式(3-16)代表CRF定义: 此时,角点和CRF的局部极小值点相对应。因为经典的Harris算法其角点响应函数要求公式中k值必须要确定,因此本算法中的角点响应函数采用的是Nobel 的。 ③图像中有很多局部极值点,角点的数目的提取要通过CRF门限限制 的设置来进行。 下面分析Harris角点检测算法的性能: 1) 在图像中Harris角点具有各向同性的特点,图像即使旋转,检测角点不会受到影响; 2) Harris角点检测算法中对图像一阶导数有要求,因此光强对检测角点无影响;

医学图像配准技术 综述

医学图像配准技术 A Survey of Medical Image Registration 张剑戈综述,潘家普审校 (上海第二医科大学生物医学工程教研室,上海 200025) 利用CT、MRI、SPECT及PET等成像设备能获取人体内部形态和功能的图像信息,为临床诊断和治疗提供了可靠的依据。不同成像模式具有高度的特异性,例如CT通过从多角度的方向上检测X线经过人体后的衰减量,用数学的方法重建出身体的断层图像,清楚地显示出体内脏器、骨骼的解剖结构,但不能显示功能信息。PET是一种无创性的探测生理性放射核素在机体内分布的断层显象技术,是对活机体的生物化学显象,反映了机体的功能信息,但是图像模糊,不能清楚地反映形态结构。将不同模式的图像,通过空间变换映射到同一坐标系中,使相应器官的影像在空间中的位置一致,可以同时反映形态和功能信息。而求解空间变换参数的过程就是图像配准,也是一个多参数优化过程。图像配准在病灶定位、PACS系统、放射治疗计划、指导神经手术以及检查治疗效果上有着重要的应用价值。 图像配准算法 可以从不同的角度对图像配准算法进行分类[1]:同/异模式图像配准,2D/3D图像配准,刚体/非刚体配准。本文根据算法的出发点,将配准算法分为基于图像特征(feature-based)和基于像素密度(intensity-based)两类。 基于特征的配准算法 这类算法利用从待配准图像中提取的特征,计算出空间变换参数。根据特征由人体自身结构中提取或是由外部引入,分为内部特征(internal feature)和外部特征(external feature)。

【作者简介】张剑戈(1972-),男,山东济南人,讲师,硕士 1. 外部特征 在物体表面人为地放置一些可以显像的标记物(外标记,external marker)作为基准,根据同一标记在不同图像空间中的坐标,通过矩阵运算求解出空间变换参数。外标记分为植入性和非植入性[2]:立体框架定位、在颅骨上固定螺栓和在表皮加上可显像的标记。Andre G[3]等将该方法用于机器人辅助手术,对于股骨移植,位移误差小于1.5mm,角度误差小于3°,由于计算量小,可以实现实时配准。但是标记物必须事先被固定好,不能用于回顾性配准,而且该方法只适用刚体配准。 2. 内部特征 从医学影像中可以提取出点、线和面:血管的交点、血管、胸腹之间的横膈膜等,这些特征作为内标记点(internal marker) ,利用其空间位置同样可以求解出空间变换参数。Hill DL[4]用11个形态点对脑部配准,误差<1mm,方差为1.73mm。Meyer CR[5]除了血管树的交点,还使用了左右脑之间的间隔等特征。Maurer CR[6,7]赋予点、线、面等几何特征不同的权重(weighted geometrical features, WGF),进一步改进了算法。内标记点配准是一种交互性的方法,将3D图像配准简化为点、线和面的匹配,可以进行回顾性研究,不会造成患者的不适。但是医生对特征位置的判断影响到配准精度,为了克服人为误差,需要多次重复操作,以平均值作为最终结果。 表面匹配算法也利用了内部特征[8]:进行图像分割,提取出轮廓曲线、物体表面等内部特征,使2D/3D图像配准简化为2D曲线和3D曲面的匹配,不再考虑物体内部像素。典型的应用是刚体配准的“头帽”算法[9],从头部的3D图像中分割出表面轮廓,分别作为头模型和帽模型。配准的目标函数是头表面和帽表面之间的均方距离,该距离是空间变换参数的函数。表面匹配算法是一种自动算法,在物体表面轮廓相似并且清晰的情况下,配准效果很好。其不足之处在于:准确地进行图像分割很困难;不同模式的图像,如CT/PET图像,由于器官的轮廓差异较大,难于精确地匹配。 3. 在非刚体配准中的应用 进行非刚体配准前要确定物理模型,常见有弹性模型、粘稠液体模型、生物力学模型。通过在感兴趣区域中提取参考点、2D或是3D轮廓线,使待配准图像

多模态医学图像非刚性配准算法研究综述

多模态医学图像非刚性配准算法研究综述 夏仁波 中国科学院沈阳自动化研究所 医学影像技术的高度发展给临床医学提供了X射线、超声、计算机断层成像(CT)、数字减影血管造影(DSA)、单光子发射断层成像(SPECT)、磁共振成像(MRI)、正电子发射断层成像(PET)等多种模态的影像信息。每种模态都有其优缺点,例如CT可以清楚地显示出体内脏器和骨骼的解剖结构,但不能显示功能信息。PET 是一种无创性的探测生理性放射核素在机体内分布的断层显像技术,是对活机体的生物化学显像,反映了机体的功能信息,但是图像模糊,不能清楚地反映形态结构。由于成像原理不同造成的图像信息局限性,使得单独使用某一类图像的效果并不理想,而多种图像的利用又必须借助于医生的空间想象力和推测去综合判定他们所要的信息,其准确性受到主观影响,更重要的是一些信息可能被忽视。解决这个问题的办法是通过空间变换将两幅图像映射到同一坐标系中,使相应器官的影像在空间中的位置一致,可以同时反映形态和功能信息。而求解空间变换参数的过程就是图像配准。在配准过程中,其中的一幅图像保持固定,称为参考图像(Reference Image),与参考图像进行匹配的图像称之为浮动图像(Floating Image)。医学图像配准是信息科学、计算机图像技术和当代医学等多学科交叉的一个研究领域,在病灶定位、PACS 系统、放射治疗计划、指导神经手术以及检查治疗效果上有着十分重要的应用价值。 按空间变换关系,图像配准可被归为两个大类: 刚性配准(Rigid Registration)和非刚性配准(Non-rigid Registration) 变换,非刚性配准包括仿射、射影和弹性变换等。刚性配准通常假设图像获取过程中目标组织的解剖和病理结构不发生变形或者扭曲,例如,由于受头颅的约束,同一病人的大脑图像被认为只存在刚性变换。“刚性”假设简化了配准的复杂度,经过几十年的发展,刚性配准算法已经比较成熟,但目前的算法对初值非常敏感。另一方面,虽然在一般情况下刚性配准足以描述两幅图像之间的空间变换,然而,许多时候并不能满足临床的需要,因为很多形变的性质是非刚体、非线性的。比如MRI 图像常常伴有组织磁化系数差异、非水分子的化学位移以及血液流动等因素导致的几何畸变以及由于磁场不均匀、磁场梯度非线性及涡流等导致的探测畸变。因此在放疗计划制定中,CT 与MRI 图像配准时,不能单纯地使用刚体配准。尤其对一些特殊部位,比如鼻咽部,由于软组织和空气的磁化系数差异大约为105,会引起10ppm 的磁场变化,从而导致大于5mm 的几何畸变。此时,为了得到满意的结果,必须使用非刚性配准。相对刚性配准,非刚性配准还是一个方兴未艾的课题。采用现有的非刚性算法配准两幅2D的医学图像,一般需要几十分钟,处理 3D图像时,更是多达几个小时。计算量过大已成为非刚性配准算法在临床应用中的最大障碍之一。此外,在处理噪声图像时,特别是处理局部

基于特征点的最近邻配准算法

第27卷 第2期 许昌学院学报Vol .27.No .2 2008年3月JOURNAL OF XUCHANG UN I V ERSI TY Mar .2008收稿日期:2007-09-29 基金项目:许昌学院青年资金项目(2007040) 作者简介:戚世贵(1973—),男,河南新乡人,讲师,硕士,研究方向:图像处理,虚拟现实. 文章编号:1671-9824(2008)02-0067-05 基于特征点的最近邻配准算法 戚世贵1,戚素娟2 (1.许昌学院计算机科学与技术学院,河南许昌461000;2.中国科学院国家授时中心,陕西临潼710600) 摘 要:利用尺度不变特征点的提取方法提取特征点,并对SI FT 方法提取出的特征点用最近邻算法进行配准,在搜索最近邻特征点和次近邻特征点时使用了在K -D 树搜索算法基础上进行改进的搜索算法BBF (Best B in First )算法.实验证明该算法具有配准精度高,鲁棒性好的特点. 关键词:特征点;图像配准;K -D 树;BBF 中图分类号:TP391 文献标识码:A 0 引言 图像拼接有着广泛的应用前景,如将多幅图像拼接成一幅图像,就要用到图像拼接技术.图像拼接中 最核心技术是图像配准.图像配准技术当前主要有基于块的配准[1,2]、比值配准法[3]、网格配准法[4]、基于 特征的配准法[5,6],每种方法各有优缺点,存在的主要问题是依据何种原则对两幅图像进行精确快速的 配准. 本文采用基于特征的配准算法对SI FT 方法提取出的特征点用最近邻算法进行配准.主要是在尺度不 变特征点(Scale I nvariance Feature Transf or m -SI FT )[7,8]的提取方法提取特征点的基础上,利用特征点的 相关几何信息实现两幅图像的配准.使得在高维空间搜索效率有较大提升.基于特征的配准法一般分为三个过程:①特征提取;②利用一组参数对特征作描述;③利用特征的参数进行特征匹配.在两幅图像中用同一种特征提取法提取出特征点,根据相似性原则对两幅图像中的特征点进行匹配. 1 SI FT 特征点提取 尺度不变特征点(Scale I nvariance Feature Transf or m 2SI FT )是由David Lowe 提出的.利用SI FT 方法从图像中提取出的特征点对图像缩放和旋转保持不变,对光线、噪声、仿射变化具有鲁棒性,特征点描述符具 有很高的独特性.研究表明[9]SI FT 方法相对其他特征点提取方法如Harris 特征点、K LT 特征点等具有优 越性.SI FT 提取过程可以分为4个步骤. 1.1 求取缩放空间中的极值点作为侯选特征点 首先对图像进行必要的预处理,接着对图像用不同的采样距离形成一个金字塔分层结构,即第一次采样时每0.5个像素进行采样,意味着将原来图像放大一倍,第一次采样的图像作为第一组的图像,然后以成倍的采样距离即1、2、4个像素再分别对图像进行采样产生第二、三、四组的图像.这样就形成了一个金字塔形状的分层结构.高斯函数如下: G (x,y,σ)=12 πσ2e -(x 2+y 2)/2σ2(1)对形成的金字塔分层结构用高斯内核函数进行滤波形成高斯金字塔分层结构,对各层图像进行高斯

图像配准的方法

图像配准的方法 迄今为止,在国内外的图像处理研究领域,已经报道了相当多的图像配准 研究工作,产生了不少图像配准方法。总的来说,各种方法都是面向一定范围 的应用领域,也具有各自的特点。比如计算机视觉中的景物匹配和飞行器定位 系统中的地图匹配,依据其完成的主要功能而被称为目标检测与定位,根据其 所采用的算法称之为图像相关等等。 图像配准的方式可以概括为相对配准和绝对配准两种:相对配准是指选择 多图像中的一张图像作为参考图像,将其它的相关图像与之配准,其坐标系统 是任意的。绝对配准是指先定义一个控制网格,所有的图像相对于这个网格来 进行配准,也就是分别完成各分量图像的几何校正来实现坐标系的统一。本文 主要研究大幅面多图像的相对配准,因此如何确定多图像之间的配准函数映射 关系是图像配准的关键。通常通过一个适当的多项式来拟合两图像之间的平移、旋转和仿射变换,由此将图像配准函数映射关系转化为如何确定多项式的系数,最终转化为如何确定配准控制点(RCP)。目前,根据如何确定RCP的方法和图像配准中利用的图像信息区别可将图像配准方法分为三个主要类别:基于灰度信 息法、变换域法和基于特征法[25],其中基于特征法又可以根据所用的特征属 性的不同而细分为若干类别。以下将根据这一分类原则来讨论目前已经报道的 各种图像配准方法和原理。 1基于灰度信息的图像配准方法 基于灰度信息的图像配准方法一般不需要对图像进行复杂的预先处理,而 是利用图像本身具有灰度的一些统计信息来度量图像的相似程度。主要特点是 实现简单,但应用范围较窄,不能直接用于校正图像的非线性形变,在最优变 换的搜索过程中往往需要巨大的运算量。经过几十年的发展,人们提出了许多 基于灰度信息的图像配准方法,大致可以分为三类:互相关法(也称模板匹配法)、序贯相似度检测匹配法、交互信息法。 (1)互相关法

图像配准技术的应用与研究

图像配准技术的应用与研究 【摘要】数字图像配准技术在当今科学研究的各个领域都显示出了很高的利用价值,伴随着人们对匹配效果的不断增强,图像配准技术也受到人们越来越多的关注。本文主要介绍图像配准在各个领域中的应用以及图像配准算法的研究现状。 1.图像配准技术的应用 目前,在很多领域都运用到了图像配准技术,这些领域分布在很多学科,包括机器视觉、医疗图像鉴定[1]等,另外还有现代汽车工业上运用到的器件完整度检测,当前受到热捧的景物匹配技术也都利用了图像配准技术。图像配准早已是一个非常热点同时也非常前沿的技术,现在图像多源信息融合作为一门强势的基础学科,已被广泛运用于军工、民用、商业等领域[2][3]。 在计算机机器视觉中,图像配准技术也是其他延伸技术的基础,包括指纹识别、运动目标识别、人脸识别等当今非常热门的研究领域。图像配准技术既是基础,也是难点。当前有关视频监控、目标跟踪方面的研究已经很深入,且取得了很多辉煌的成就,但归根到底,所有的视频信息也都是由一帧一帧的图像所构成,因此要解决这类识别问题,同样依赖于图像配准技术的发展。 2.图像配准基本原理 在数字图像配准技术中,灰度相关处理是一种非常重要的算法。这类算法最大的特点就是算法的实现非常容易,但这类算法又有限制其发展的弱点,那就是该类算法的时间复杂度都非常高,计算机在进行处理的时候消耗的时间过长,实时性较差,使得这类算法在运用到实际中的时候,难以得到很好的效果。原因在于这类配准方法在对相似度进行计算时,基本上要对待配准区域的每一个像素点进行计算,这样的大量运算会直接增加配准搜索过程的时间,同时其受到图像尺度变化的影响非常大。还有一种方法是使用图像中的所有像素点的灰度信息来进行配准,再使用一种搜寻的方式把那些属于某一相似度的极值点找到,算法同样利用的是对整幅图像中的所有像素点。因其计算量太大,所以实际使用价值也不高。 图像进行特征提取的时候,使用的方法要根据实际的情况来做出不同的选择,因为不同图像的特征点有其所特有的性质。这些方法广泛的涉及到图形图像形态学,而且无法把这些模型有效的归纳到一起。针对图像的特征点提取,很多方法都运用了图像中那些对图像发生平移、尺度等变换时保持不变性的特征点,甚至某些点还能是在图像发生仿射变换时也保持不变性。通常数字图像中的特征做了图像全局特征和图像局部特征的划分。对于图像的全局特征,由于要考虑图像中所有像素点对当前点的贡献和影响,所以对图像信息的描述是非常复杂的,

基于特征点的内窥镜图像和CT影像配准方法

基于特征点的内窥镜图像和CT影像配准方法 医学图像配准是目前医学图像处理的关键技术。将病人病灶部位的CT图像和遥操作微创手术机器人所隐含的数据信息结合,根据微创手术机器人系统的特殊要求,提出一种新的基于特征点的快速局部图像配准方法,可实现对特殊组织特征点和一般组织特征点的配准。算法以欧氏距离作为配准相似度度量,用最近点迭代法(ICP)求解配准变换关系。通过对医学图像进行测试,配准结果较好,该算法能实现对图像的整体轮廓及图像中感兴趣的生理解剖位置的配准。 标签: 医学图像配准;特征点;ICP算法 TB 1 引言 医学图像配准是目前医学图像处理的一项关键技术,其目的是建立患者坐标系和术前影像坐标系之间的映射关系,使术前影像和术中内窥镜图像上的几何特征在空间上对应起来,配准的结果使所有的解剖点或者是所有在医学上具有诊断意义的点和手术部位都达到匹配。 根据配准的过程,医学图像配准方法可以分为基于像素相似性和基于形状特征两类。基于像素相似性的方法主要利用灰度值作为配准的准则,不需要对图像进行预处理,配准精确度高,缺点是耗费时间长、效率较低。基于形状特征的配准方法主要是利用图像间的共有几何特征进行配准,常使用的形状特征有点、轮廓等,原理比较简单,应用广泛。基于轮廓的配准方法根据所配准对象的边缘轮廓进行配准,可以快速实现图像的全局配准,对于距离轮廓较远区域的配准能力较差。基于特征点的配准方法通过对特征点插值来计算映射转换关系,能够很好地完成点对之间的配准。这两种方法各有侧重,基于轮廓的方法侧重图像整体的结构特征匹配,而基于特征点的方法能够处理任意点对间的变换和配准。在微创手术过程中,视觉系统给手术医生提供直观的视觉信息反馈,便于手术医生进行手术位置定位以及手术过程中的视觉引导。这里我们要根据从内窥镜得到的二维图像信息,结合遥操作微创手术机器人所隐含的数据信息,以CT图像为浮动图像,快速地建立内窥镜图像信息和CT图像的匹配。 2 特征点的提取 在微创手术机器人系统中,医学图像配准中所需的特征点通常是医生选取的在医学上具有解剖意义的一系列解剖点,而非纯粹的几何意义的点,解剖点大多灰度变换剧烈,或者具有特定的几何意义,例如拐点、高曲率点等。人体器官模

图像配准中的特征分类和评价

0 引言 图像配准就是将同一场景(或物体)在不同时刻或视角下,经由相同或者不同成像设备得到的,位于不同坐标系下的图像变换到同一坐标系的过程。目前,基于特征的图像配准的应用范围较广,研究较多。该配准方法主要包含以下几个步骤:特征选择与提取、特征匹配、几何变换模型的选取与参变量的估计、图像重新采样与变换等。这些共同特征主要包括点特征、线段特征、曲线与轮廓特征、封闭区域特征、矩不变特征和混合特征等。与其它方法相比,基于特征的图像配准方法具有计算复杂度低、鲁棒性强、能够适用于部分存在复杂几何变形图像之间的配准等优点。 1 几种常用的图像配准特征 由于图像中的特征丰富多样,因此产生了多种基于不同特征的配准方法,其中经常使用的特征有:点、线、边缘、轮廓、闭合区域、矩不变量、重心等。下面我们对这些特征做一些简要的介绍。1.1 点特征 点特征是图像的一种重要的局部特征之一,其主要采用的是图像中的边缘点、直线的交点、角点、高曲率的点以及极值点等。比较经典的特征点提取算法主要有Harris 角点检测算法、SUSAN 算法和DoG 算法等。 在基于点特征的图像配准方法中,Zhang,H.等将ICP 策略引入到图像配准算法中,通过优化两对特征点集间的距离函数,最终实现特征点集间的匹配。王青松等提出了一种改进的Harris 特征点提取算法,并将其应用于纹理频繁影响区的特征提取。刘冬秋等提出了一种改进的ICP 算法,并将其应用到雕像数 图像配准中的特征分类和评价 赵夫群 咸阳师范学院 陕西咸阳 712000 据的精确配准中。1.2 线段特征 直线段也是图像中的一个显著特征。在文献[3-4]中,作者成功地利用图像中提取直线段,实现了图像间的配准。1.3 曲线与轮廓特征 很多时候,场景图像中都包含有丰富的曲线和轮廓信息,曲线和轮廓相对于其它特征来说对噪声和光线变化的鲁棒性都较高,从匹配曲线和轮廓中计算几何变换参变量的值也比较容易,因此基于曲线和轮廓的图像配准方法在图像配准领域内被广泛使用。 近年来,随着图像分割、特征检测等技术的发展,曲线和轮廓检测技术已逐渐成熟。目前曲线和轮廓的检测算法包括:Canny 边缘提取算子、拉普拉斯一高斯算子(LoG)、基于一阶或二阶差分的曲线检测算法、区域增长、图像分割方法。Govindu 等采用轮廓上点的切线斜率来表示物体轮廓,通过比较轮廓边缘的分布确定变换参数。Li,H.andManjunath 等通过物体的轮廓实现了图像的配准。郭宝云等在常用的多特征提取方法的基础上提出了一种附加约束条件的零件轮廓线的多特征提取方法。 1.4 封闭区域特征 Goshtasby 等人最早应用分割区域方法来配准图像,他们实现配准的控制点是封闭区域的重心。何芳芳等[提出了一种基于图像区域特征的模糊熵差景像匹配新算法。李建更等提出了一种通过提取参考区域光照阴影及其轮廓几何特征的方法,解决了探测器在行星表面精确着陆的问题。1.5 矩不变量特征 矩不变量是从这些区域中计算出的具有对平移、旋转和缩放不变性的描述子。根据不同阶的矩,可以组合出具有不同不变性的各种矩不变量。胡大可等提出了基于矩不变量的二位图像序列动态特征抽取方法,实现了用计算机自动识别人体关节点的目标。黄义仿等提出了一种基于小波分析和矩不变量的量化特征提取新方法,解决了旋转机械智能诊断中缺少量化特征值的问题。1.6 混合特征 通常,在很多图像中往往是同时包含有多种可以利用的特征,利用几种特征的组合,可以有效弥补单一特征的缺点并充分利用它们的长处。结合相似度量函数,图像的灰度信息可以准确无误地验证曲线匹配的正确性,从而 提高基于特征的图像匹配的鲁棒性和稳定性。Johnson 等提出利用特征点和灰度值信息结合进行图像配准的方法。Mista 等提出利用特征点和曲线结合的方法来实现图像配准。 2 特征的评价标准 基于特征的图像配准的关键在于特征的选取,选取特征的好坏也直接决定着图像配准的成败。通过对众多特征检测算法的总结发现,一种好的特征应该具备以下性质: (1)重复率:重复率是指在不同条件下拍摄的同一目标或者场景的多幅图像中,能够同时被检测到的特征占全部检测出特征的比率。重复率越高,图像配准的鲁棒性和稳定性越高,反之鲁棒性和稳定性就越差。 (2)显著性:也叫独特性,是指所选择的配准特征在基准图像和浮动准图像中应该都是显著的对象,易于检测,并且有稳定可靠的提取算法。 (3)数量性:特征点的数量应该是丰富的,这样有利于根据不同的应用环境对所需的特征点数量进行调整,而且特征点的分布应该能够反映图像的内容,从而能够从它们的对应关系中有效地估算出所选几何变换模型的参数。 (4)准确性:检测到的特征点应该在位置、尺度等方面具有较高的准确性,不同图像对应特征点之间的位置偏差不能太大,这直接关系到利用这些特征计算出的几何变换模型参变量的值的正确性及图像配准所能达到的精度。 (5)高效性:一幅图像的特征数目可能很多,所以更加需要一个高效的描述符,即描述符特征向量的维数应尽可能低,而描述符要有显著的可区分性,特征点检测的时间不能太长,遥尽量满足实时性的要求。 3 总结 针对基于特征的图像配准方法,本文主要综述了点特征、线段特征、曲线与轮廓特征、封闭区域特征、矩不变特征以及混合特征等几种主要特征,对于一些其他的特征还有待进一步的研究和探讨。而且,随着某些具体应用对各种性能指标要求的不断提高,对图像配准技术也提出了新的要求,例如,如何提高图像配准的精度,如何改善图像配准算法的运算效率、稳定性、鲁棒性和可靠性等。有些问题虽然已经有了较多的解决方案,但仍需进一步的发展完善。

相关文档
最新文档