C形臂X线投影图像3D建模及其应用
收稿日期：2010-07-02
基金项目：本文受国家自然科学基金重点项目（No.30530230）、上海高校选拔培养优秀青年教师科研专项基金（No.slg08026）、及本校博士启动基金
（无编号）资助。
作者简介：闫士举(1977-)，男，博士，讲师。研究方向：图像引导手术技术。Tel ：021-********；E-mail ：yanshj99@https://www.360docs.net/doc/5016244483.html,;yanshiju@https://www.360docs.net/doc/5016244483.html, 。
C 形臂X 线投影图像3
D 建模及其应用
闫士举1，徐兆红1，夏
庆
2
(1.上海理工大学医疗器械与食品学院，上海200093；2.复旦大学附属中山医院骨科，上
海200032)
摘要：C 形臂X 线投影图像3D 建模是指以C 形臂获取的X 线2D 投影图像为基础，实现骨骼3D 模型的术中重建。与单纯的2D 切片图像或投影图像相比，3D 重建模型不仅含有更为丰富的骨骼外部形状等解剖结构信息，而且还可包含骨密度及强度等骨骼内部多元有用信息。该技术在骨组织活检、椎弓根螺钉植入、髓内钉固定、及手足骨折修复等手术方面具有广阔的应用前景。对C 形臂X 线投影图像3D 建模技术的研究意义、现状及现存问题进行介绍。在此基础上，分析了该技术所涉及的主要研究内容，提出了可分别沿两条主线研究基于普通C 形臂2D 投影图像的人体骨骼3D 解剖模型构建：一、以C 形臂按指定角度间隔获取的密集2D 投影图像为基础，采用有限角锥束X 射线投影合成方法进行
3D 重建；二、以C 形臂在正位、侧位等姿态下获取的少量2D 投影图像为基础，采用基于统计可变模型的非刚性配准方
法进行3D 重建。对每条主线都提出了对应的解决方案。关键词：X 线；投影图像；立体模型；重建
DOI 编码：doi ：10.3969/j.issn.1005-202X.2010.05.010
中图分类号：TP391
文献标识码：A
文章编号：1005-202X （2010）05-2109-04
3D Modeling Based on C-arm X-ray Projection Images and Its Application
YAN Shi-ju 1,XU Zhao-hong 1,XIA Qing 2
(1.School of Medical Instrument and Food Engineering,University of Shanghai for Science and Technology,Shanghai 200093,China;2.Department of Orthopedics,Zhongshan Hospital Fudan University,Shanghai 200032,China)
Abstract:3D Modeling based on C-arm X-ray projection images refers to reconstructing three-dimensional bone models on the basis of two-dimensional projection images acquired with a mobile C-arm X-ray https://www.360docs.net/doc/5016244483.html,pared with mere 2D slice images or 2D projection images,3D reconstructed model contains not only more abundant information on anatomy of the external shape of the bone,but also more useful information within the bone,bone density and bone strength,to name a few.This technique could find its application in orthopaedic biopsy,pedicle screw insertion,intramedullary pin insertion,hand and foot bone fracture reparation.The current state of the research of 3D modeling based on C-arm X-ray projection images is described in the aspects of the significance,researching situation,and major technical obstacles.On this basis,main key points retaining to the technique are analyzed,two main lines of research are presented,along which 2D projection images acquired with a common C-arm could be used to construct human skeleton anatomical 3D model.The first one:based on intensive 2D projection images acquired at specified C-arm angle interval,reconstructing 3D model with the finite angular cone beamX-ray projection method.The second one:based on a small amount of 2D projection images acquired with a C-arm and a statistical variable model,reconstructing 3D model with the non-rigid registration method.Corresponding solutions are given for each main line.
Key words:X-ray;projection image;three dimensional model;reconstruction
2010年9月中国医学物理学杂志
Sep ．,2010
第27卷第5期
Chinese Journal of Medical Physics
Vol．27．No．5
2109--
前言
图像引导手术（image guided surgery ，IGS ）技术以X 光片、CT/MRI 图像为载体，采用定位系统跟踪手术器械与患部的相对位姿关系，并加以实时虚拟显示，可有效辅助医生准确定位手术器械，从而提高手术质量[1]。IGS 技术包括基于CT 的手术导航和基于C 形臂（移动式C 形臂X 光机）的手术导航两种模式。前者可使用解剖信息丰富的3D 图像，但术前重建3D 图像与术中患骨之间的配准过程复杂、耗时长，且无法现场获取患者解剖图像，从而导致患者手术前后的体位变化不能及时地在3D 图像中进行更新，降低了手术精度[2]。后者无需进行术前术中配准，且可在术中随时现场获取患者解剖图像。因此，其更有助于简化手术操作、缩短手术时间并提高手术质量。但是，这种模式的手术导航技术最大不足在于：其仅可使用C 形臂获取的正、侧位片两幅2D 投影图像，而无法使用横断面图像。这种图像信息的缺失，将在一定程度上影响医生的判断。
基于平面图像的多元3D 模型构建，以普通C 形臂获取的X 线2D 投影图像为初始数据，实现术中重建具体患骨的3D 模型。所重建3D 模型同时包含骨骼解剖形状、密度、强度等有用多元信息，可为骨组织的手术导航提供3D 图像支持。重建的3D 模型可用于支持骨组织活检、脊柱椎弓根螺钉植入术、长管状骨髓内钉固定术、及适合采用螺钉固定的手、足骨折手术等。
1C 形臂X 线投影图像3D 建模
依据普通C 形臂X 线2D 投影图像重建骨骼3D 模型，属基于平面图像的立体模型重建范畴。关于该领域的研究国内外已有文献报道。Jorrit-Jan Verlaan 和Guoyan Zheng 等人认为，基于2D 投影的3D 成像可兼顾CT 的优势和2D 投影图像的优势，但在重建3D 模型前，必须首先对2D 投影成像系统进行校准[3，4]。M.Grassa 等人研究证明可采用改进Feldkamp 法[5]实现C 形臂2D 投影图像的3D 重建。R.Fahrig 等人则对C 形臂的成像系统进行了全面标定，该文还通过模型实验证明：在一定的条件下基于多幅2D 投影进行3D 图像重建是切实可行的[6]。基于C 形臂2D 投影图像的3D 模型构建方法可大致分为两类：有限角度锥形束X 射线摄影合成（tomosynthesis ）方法，和基于统计可变模型（Statistical deformable model ）的非刚性配准（Non-rigid registration ）方法。
1.1有限角度锥形束X 射线摄影合成研究现状
数字X 射线摄影合成（digital X-ray tomosynth-esis ，DXT ），是指在一次成像运动过程中存储不同角度下的投影数据，对这些数据进行计算机处理，以回顾性地得到任意位置的切片图像[7]。高河伟等人指出
有限角度X 射线摄影合成属不完备数据重建范畴，不能实现精确重建，但可采用合理的约束条件、先验知识以及正则化因子以提高图像重建质量[8]。卜凡亮等人通过对tomosynthesis 中各断层像和投影像间的关系进行变形处理，证明tomosynthesis 的重建过程的实质就是反投影重建[9]。Sergey Kriminski 和Dieter Ritter 等人根据C 型臂成像原理，对传统的Tomosynthesis 算法进行改进，以对等中心C 形臂连续采集的有限角度X 射线投影进行切片重建[10，11]。Jens Wiegert 指出采用有限角度锥形束X 射线摄影合成方法，所能重建3D 图像的体积将受制于硬件设备[12]。
1.2基于统计可变模型的非刚性配准研究现状
通过样本训练采用统计学原理构建骨组织可变模型，并从具体患骨2D 投影图像中提取轮廓、特征点等标志性信息，依据这些标志性信息对可变模型进行初定位、全局变形、局部细化变形等非刚性配准处理，最终生成具体患骨的3D 解剖模型。Ryo Kurazume 和E.Stindel 等人从配准误差、成本、时间耗费、以及射线辐射量等角度对基于CT 的3D 建模和基于2D/3D 非刚性配准的3D 建模两类技术进行了对比，明确指出后者在诸多方面优于前者，在手术导航领域的应用意义重大[13-15]。Jianhua Yao 等人研究发现：采用两幅正交的2D 投影图像进行3D 重建效果较好，重建效果对2D 投影图像的变形极为敏感[16]。Kumar T 和E.Stindel 等人采用散乱数据点与统计学可变形模型配准的方法重建股骨等人体骨骼3D 模型[15]。Rebecca Bryan 和Kumar T 等人研究利用主成分分析方法（principal component analysis ）构建人体骨骼统计学模型，再通过弹性配准和网格变形算法生成具体患者骨骼模型[17]。Ryo Kurazume 等人则依据正/侧位两幅投影图像构建3D 模型，其将3D/2D 配准问题都转化为成本函数最小化问题并通过梯度下降法求解[18]。基于统计可变模型的非刚性配准，其本质是利用2D 信息与3D 信息之间的影射关系实现3D 建模。这一领域的研究内容主要包括：统计可变模型构建、2D/3D 非刚性配准。
2现存问题
有限角度（不满180度）锥形束X 射线摄影合成属于不完备数据重建问题，这种信息缺失将严重影响3D 重建效果。目前，国内外文献报道的大多数方法都是建立在滤波反投影（backprojection filtration ）重建算法基础之上的，利用已有的、有限角度内获取的投影信息，在一定的先验知识、约束条件、及合理的正则化准则等附加条件下，通过迭代外推算法框架对缺失角度内的信息进行虚拟重建，以补偿不完备数据，再将已有的投影数据与虚拟重建的数据合成完整的全角度投影数据集用于3D 重建。为了保证3D 重建的质量，有必要在设置附加条件时考虑C 形臂本身所具有
中国医学物理学杂志
第27卷第5期
2010年9月
2110--
的一些特点，如：1、C形臂直接获取的2D投影图像存在几何变形，2、普通C形臂旋转中心随其姿态的不同而变化，并不满足很多文献中提到的“等中心”前提，3、不同姿态下C形臂成像系统内/外部参数各不相同。
关于统计可变模型的构建，目前，国内外文献报道的大多数方法都以主成分分析方法（principal component analysis）为基础，研究重点集中在物体外在形状的数学表达，所建模型多为只含有解剖形状信息的表面模型。实际上，对于复杂的人体骨组织而言，其外在解剖形状信息固然重要，但同时，骨密度和强度等内部信息也不可忽视。针对其在手术导航领域的应用，含有解剖形状、骨密度、骨强度等多元信息的3D解剖模型将更具应用价值，通过将这些多元信息进行视觉显示，可以一种更直接的方式辅助医生在手术过程中选择更合适的螺钉规格、确定更合理的入钉方位和深度。
3研究内容及解决方案
3.1研究内容
基于C形臂X线2D投影图像的3D模型构建所涉及到的关键技术包括：
（1）C形臂旋转中心位移及2D投影变形：分析C形臂旋转中心位移及其2D投影变形随C形臂姿态不同而变化的规律，研究精确的位移标定及图像变形校正方法。
（2）C形臂成像系统标定：分析C形臂成像系统内、外部参数随C形臂姿态不同而变化的规律，研究可对成像系统进行合理描述的数学模型。
（3）有限角锥束X线摄影合成中的不完备数据补偿：将（1）、（2）研究结果进行处理并作为先验知识，对C形臂旋转不满180度所导致的2D投影图像缺失进行补偿；在传统Tomosynthesis算法的基础上，研究有针对性的合成算法，以适应C形臂非等中心旋转、2D投影图像存在变形、成像系统参数随姿态而变的特点。
（4）人体椎骨多元3D参数化可变模型构建：在样本统计分析基础上，研究可合理描述人体椎骨外部解剖形状、内部骨密度和骨强度状况的，考虑其病态变形的参数化模型构建方法。
（5）C形臂2D投影图像中特征标志信息的提取：研究图像滤波、边缘检验等处理算法，以及标志点人工取点方案，实现骨组织轮廓的自动提取或特征标志点的可靠人工提取。
（6）2D投影与3D模型间的特征匹配与非刚性配准：基于（1）、（2）、（4）、（5）的研究结果，研究合适的多元3D模型空间定位与弹性变形方法，实现2D投影与3D模型间特征标志的对应与对齐。
3.2解决方案
可沿两条主线研究基于普通C形臂2D投影图像的人体骨骼3D解剖模型构建。
第一条线，以C形臂按指定角度间隔获取的密集2D投影图像为基础，采用有限角锥束X射线投影合成方法进行3D重建。主要环节包括：C形臂按指定角度间隔获取金属球阵列的2D投影图像（简称2D球格图像），以这些球格图像为基础，研究C形臂2D投影图像变形校正、C形臂成像系统标定、以及C形臂旋转中心随旋转角度而变化的规律，以变形校正参数、成像系统内/外部参数、以及C形臂旋转中心位移参数对C形臂设备的软硬件特性进行表征；C形臂按指定角度间隔密集获取患者骨骼的2D投影图像（简称2D解剖图像），以这些解剖图像为基础，再将C 形臂变形校正参数、成像系统内/外部参数、旋转中心位移参数进行适应性处理并作为先验知识，对缺失角度内的2D解剖图像进行虚拟重建（简称虚拟2D 解剖图像）；将2D解剖图像和虚拟2D解剖图像合为完整的全角度2D投影图像集，研究适合普通C形臂特性的投影合成方法，进行任意切面断层图像乃至3D模型的构建。第一条线本质为基于大量2D投影的3D模型构建，所建3D模型以体素灰度的形式表达骨骼解剖信息。
第二条线，以C形臂在正位、侧位等姿态下获取的少量2D投影图像为基础，采用基于统计可变模型的非刚性配准方法进行3D重建。主要环节包括：C形臂在正位、侧位等姿态下获取患者骨骼2到3幅2D 投影图像，采用第一条线中的图像校正参数对这些图像进行变形校正，研究健壮可靠的边缘识别算法，对校正后图像中的骨组织轮廓进行提取，或者研究合理的取点方案，以手工方式在校正后图像中提取少量标志点；以事先获取的若干健康人CT数据为基础，进行多元3D可变模型的构建；研究合适的2D/3D特征点匹配方法，将从2D投影图像中提出的标志点或骨轮廓与3D多元可变模型的对应标志物进行配对；以仿射变换方法为基础，结合第一条线中的C形臂成像系统参数，通过迭代计算进行3D多元可变模型的比例缩放与定位；研究精确高效的非刚性变形方法，依据从2D投影图像中提出的标志点或骨轮廓信息，对3D多元可变模型进行适应性全局变形；研究合适的边缘过渡方法，对全局变形后的3D多元可变模型再进行分区细化变形，对于与手术直接相关的关键部位，实行精度优先细化变形，对于不重要的部位，则实行速度优先变形或不变形而仅做边缘平滑处理。第二条线本质为基于少量2D投影的3D模型构建，所建3D模型以外曲面形状、内部密度和强度等多元信息表达骨骼解剖结构。对于各单元技术，可采用如下方案解决。
（1）C形臂2D投影图像变形校正。以2D球格图像为基础，研究C形臂在不同姿态下获取2D投影图
中国医学物理学杂志第27卷第5期2010年9月
2111 --
像的变形规律；分析传统多项式全局及局部校正算法的优缺点，将移动最小二乘（moving least squares ）方法与层次B 样条逼近（Multi-layer B-Spline Aproxima-tion ）方法结合，用于2D 投影图像变形校正参数的确定。
（2）C 形臂成像系统标定。以校正后的2D 球格图像为基础，通过针孔相机模型（Pin-hole Model ）对C 形臂X 线投影成像原理进行研究；以Faugeras 相机校准算法为基础，针对C 形臂成像参数均随其姿态而变的特点，确定合理的成像系统标定算法，用于确定任意姿态下C 形臂成像系统的内/外部参数。
（3）C 形臂旋转中心位移规律研究。以校正后的2D 球格图像为基础，对C 形臂旋转中心位置随其姿态（C 形臂旋转角度）的变化而变化的规律进行研究；采用多项式等数学模型对这一规律进行描述，用于确定任意姿态下C 形臂旋转中心的位置参数。
（4）X 射线摄影合成。确定C 形臂2D 投影图像变形校正参数、C 形臂成像系统参数、及C 形臂旋转中心位移参数之后，深入分析传统及改进Tomosyn-thesis 算法，基于滤波反投影重建算法框架对3个参数群进行适应性改进，并作为先验知识对Tomosyn-thesis 算法进行必要的改进和补充；采用改进后的Tomosynthesis 算法进行缺失角度投影虚拟与3D 模型重建。
（5）特征标志信息提取。针对2D 投影图像灰度分布特点，对包括CI （convergence index ）滤波器在内的图像预处理方法及自适应边缘检验算法进行研究，从校正后的2D 解剖图像中提取骨骼轮廓；分析3D 模型与其2D 投影之间的映射关系，研究确定合适的取点方案，通过手工方式从校正后的2D 解剖图像中提取标志点。
（6）多元3D 可变模型构建。基于主成分分析（principal component analysis ）方法框架，结合目前骨密度与骨强度领域研究成果，构建人体骨骼多元3D 可变模型，模型同时包含骨骼外表面解剖形状信息、内部骨密度信息及骨强度信息，可通过模型外表面的变形带动其内部密度及强度信息的平滑变更。
（7）2D/3D 特征匹配与非刚性配准。特征匹配：根据从解剖图像中提取的2D 标志点或骨轮廓，确定多元3D 可变模型上对应的3D 顶点，再根据投影关系确定2D 标志点的3D 坐标，然后将两个3D 点群依次配对；非刚性配准：采用ICP(iterative closest point)算法确定3D 可变模型的方位，采用网格形态学变形方法对3D 可变模型进行全局变形处理，采用局部变形方法对3D 可变模型的关键部位进行细化再变形处理。
参考文献：
[1]骆文博,王广志,丁海曙.2001.计算机辅助手术系统[J].国外医学生
物医学工程分册.24(6):241-246.
[2]Langlotz U,Lawrence J,Hu Q,et al.1999.Image guided cup place -ment [J].Computer Assisted Radiology and Surgery (CAR'99),Paris:717-721.
[3]Jorrit Jan Verlaan,Everine B.van de Kraats,Theo van Walsum,et al.
Three-Dimensional Rotational X-ray Imaging for Spine Surgery [J].A Quantitative Validation Study Comparing Reconstructed Images with Corresponding Anatomical Sections.Spine ，2005，30（5）：556-561.[4]Zheng Guoyan,Gollmer Sebastian,Schumann Steffen,et al.A 2D/3D
correspondence building method for reconstruction of a patient-spe -cific 3D bone surface model using point distribution models and cali -brated X-ray images [J].Medical Image Analysis ，2009，13：883-899.[5]Feldkamp LA,Davis LC,Kress JW.Practical cone -beam algorithms
[J].J Opt Soc Am A ，1984，6:612-619.
[6]Fahrig R ，Fox A J ，Holdsworth D W.Characterization of a C -arm
mounted XRII for 3D image reconstruction during interventional neu -roradiology （https://www.360docs.net/doc/5016244483.html,/x648.html?product_id=237797）.
[7]王丽艳，罗守华，韦志辉.基于C 型臂的有限角锥形束三维重建算
法[J].CT 理论与应用研究，2008,17（4）:1-7.
[8]高河伟，张丽，陈志强，等.有限角度CT 图像重建算法综述[J].CT
理论与应用研究，2006,15（3）:46-50.
[9]卜凡亮，温俊海，程敬之.基于tomosynthesis 的图像重建方法[J].中
国医疗器械杂志，2000,24（3）:129-160.
[10]Sergey Kriminski,Matthias Mitschke,Stephen Sorensen,et al.Respi -ratory correlated cone-beam computed tomography on an isocentric C-arm[J].PHYSICS IN MEDICINE AND BIOLOGY ，2005,21（22）:5263-5280.
[11]Dieter Ritter,Matthias Mitschke,Rainer Graumann.C-arm CT soft
tissue 3D imaging with a mobile C-arm [C].International Congress Series 1268(2004)3-6.
[12]Jens Wiegerta,Matthias Bertram,J?rg Wulff ,et al.3D ROI imag -ing for cone-beam computed tomography [C].International Congress Series 1268(2004)7-12.
[13]Kumar T.Rajamani,Martin A.Styner,Haydar Talib,et al.Statisti -cal deformable bone models for robust 3D surface extrapolation from sparse data[J].Medical Image Analysis ，2007,11:99-109.
[14]Ryo Kurazume,Kaori Nakamura,Toshiyuki Okada,et al.3D recon -struction of a femoral shape using a parametric model and two 2D fluoroscopic images [J].Computer Vision and Image Understanding ，2009,113:202-211.[15]Stindel E,Briard J L,Merloz P,et al.Bone Morphing:3D Morpho -logical Data for Total Knee Arthroplasty [J].Computer Aided Surgery ，2002,7:156-168.
[16]Jianhua Yao ，Russell Taylor.Assessing Accuracy Factors in De -formable 2D/3D Medical Image Registration Using a Statistical Pelvis Model [C].Proceedings of the Ninth IEEE International Con -ference on Computer Vision (ICCV 2003)2-Volume Set.
[17]Rebecca Bryan,P.Surya Mohan,Andrew Hopkins,et al.Statistical
modelling of the whole human femur incorporating geometric and material properties[J].Medical Engineering &Physics ，2010,32:57-65.
[18]Ryo Kurazume,Kaori Nakamura,Toshiyuki Okada,et al.3D recon -struction of a femoral shape using a parametric model and two 2D fluoroscopic images [J].Computer Vision and Image Understanding ，2009,113:202-211.
中国医学物理学杂志
第27卷第5期
2010年9月
2112--