医学图像的配准与融合.ppt
《医学图像的配准与融合.ppt》由会员分享,可在线阅读,更多相关《医学图像的配准与融合.ppt(120页珍藏版)》请在三一办公上搜索。
1、第八章 医学图像的配准与融合,8.1 配准与融合的应用背景介绍,8.2 医学图像配准概述,8.3 图像配准的理论基础,8.4 常用的医学图像配准方法,8.5 图像配准的评估,第八章 医学图像的配准与融合,8.6 图像融合概述,8.7 常用的图像融合方法,8.8 图像融合效果的评价,随着计算机技术的高速发展,医学成像技术日新月异,为临床医学提供了各种形态和功能的影像信息。但是各种成像技术和检查方法都有它的优势与不足,并非一种成像技术可以适用于人体所有器官的检查和疾病诊断,也不是一种成像技术能取代另一种成像技术,而是相辅相成、相互补充。,8.1 应用背景介绍,根据医学图像所提供的信息内涵,分为两大
2、类:解剖结构图像(CT、MRI、B超等)功能图像(SPECT、PET等)解剖图像以较高的分辨率提供了脏器的解剖形态信息(功能图像无法提供脏器或病灶的解剖细节),但无法反映脏器的功能情况。功能图像分辨率较差,但它提供的脏器功能代谢信息是解剖图像所不能替代的;,8.1 应用背景介绍,目前这两类成像设备的研究都已取得了很大的进步,图像的空间分辨率和图像质量有很大的提高,但由于成像原理不同所造成的图像信息局限性,使得单独使用某一类图像的效果并不理想。因此,为了提高诊断正确率,需要综合利用患者的各种图像信息。,8.1 应用背景介绍,最有效的解决方法:以医学图像配准技术为基础,利用信息融合技术,将这两种图
3、像结合起来,利用各自的信息优势,在一幅图像上同时表达来自人体的多方面信息。更加直观地提供了人体解剖、生理及病理等信息。其中配准技术是图像融合的先决条件,必须先进行配准,才能实现准确地融合。,8.1 应用背景介绍,二、医学图像配准在临床上的应用,医学图像配准具有很重要的临床应用价值。对使用各种不同或相同的成像手段所获得的医学图像进行配准不仅可以用于医疗诊断,还可用于手术计划的制定、放射治疗计划的制定、病理变化的跟踪和治疗效果的评价等各个方面。,临床应用举例 1、计算机辅助手术中,外科医生根据配准的CT/MR/DSA图像精确定位病灶及周围相关的解剖结构信息,设计出缜密的手术计划。在手术过程中,利用
4、三维空间定位系统使术前计划的虚拟病人、手术台上的真实病人和手术器械三者精确联系起来进行手术跟踪。,二、医学图像配准在临床上的应用,临床应用举例 2、在癫痫病的治疗中,一方面需要通过CT,MRI等图像获得病人的解剖信息,另一方面又需要通过SPECT或PET等得到病人的功能信息,这两方面的结合将有助于对病人的精确治疗。,二、医学图像配准在临床上的应用,临床应用举例 3、放射治疗中,应用CT和MR图像的配准和融合来制定放疗计划和进行评估,用CT图像精确计算放射剂量,用MR图像描述肿瘤的结构,用PET和SPECT图像对肿瘤的代谢、免疫及其他生理方面进行识别和特性化处理,整合的图像可用于改进放射治疗计划
5、或立体定向活检或手术。,二、医学图像配准在临床上的应用,8.2 医学图像配准概述,一、医学图像配准的概念,二、医学图像配准方法的分类,三、医学图像配准的基本过程,一、医学图像配准的概念,医学图像配准是指对于一幅医学图像寻求一种(或一系列)空间变换,使它与另一幅医学图像上的对应点达到空间上的一致。这种一致是指人体上的同一解剖点在两张匹配图像上有相同的空间位置(位置一致,角度一致、大小一致)。配准的结果应使两幅图像上所有的解剖点,或至少是所有具有诊断意义的点及手术感兴趣的点都达到匹配。,医学图像配准示意图,一、医学图像配准的概念,二、医学图像配准方法的分类,到目前为止,图像配准方法的分类始终没有一
6、个统一的说法。目前比较流行的是1993年Van den Elsen等人对医学图像配准进行的分类,归纳了七种分类标准。,(一)按图像维数分类 按图像维数分为2D/2D,2D/3D,以及3D/3D配准。2D/2D配准通常指两个断层面间的配准;2D/3D配准通常指空间图像和投影图像(或者是单独的一个层面)间的直接配准;3D/3D配准指2幅三维空间图像间的配准。,二、医学图像配准方法的分类,(二)根据医学图像的模态分类 单模态医学图像配准:是指待配准的两幅图像是用同一种成像设备获取的。一般用在生长监控、减影成像等。多模态图像配准:是指待配准的两幅图像来源于不同的成像设备,主要应用于神经外科的诊断、手术
7、定位及放疗计划设计等。,二、医学图像配准方法的分类,(三)根据变换性质分类 刚性变换:只包括平移和旋转。仿射变换:将平行线变换为平行线。投影变换:将直线映射为直线。曲线变换:将直线映射为曲线。,二、医学图像配准方法的分类,(四)根据用户交互性的多少分类 自动配准:用户只需提供相应的算法和图像数据。半自动配准:用户需初始化算法或指导算法(如拒绝或接受配准假设);交互配准:用户在软件的帮助下进行配准,二、医学图像配准方法的分类,(五)根据配准所基于的图像特征分类 基于外部特征的图像配准:是指在研究对象上设置一些 标志点,使这些标记点能在不同的影像模式中 显示,然后再用自动、半自动或交互式的方法 用
8、标记将图像配准。基于内部特征的配准:主要包括三个方面:基于标记的 配准方法、基于分割的配准方法、基于像素特 性的配准。,二、医学图像配准方法的分类,(六)根据配准过程中变换参数确定的方式分类 1、通过直接计算公式得到变换参数的配准:限制在基于特征信息(例如小数目的特征点集、二维曲线、三维表面)的配准应用中。2、通过在参数空间中寻求某个函数的最优解得到变换参数的配准:所有的配准都变成一个能量函数的极值求解问题。,二、医学图像配准方法的分类,(七)根据主体分类 1、同一患者(Intrasubject)的 配准:指将来自同一个病人的待配准图像,用于任何种类的诊断中;2、不同患者(Intersubje
9、ct)的配准:指待配准图像来自不同病人,主要用在三维头部图像(MR、CT)的配准中 3、患者与图谱的(Atlas)图像配准。是指待配准图像一幅来自病人,一幅来自图谱。,二、医学图像配准方法的分类,三、医学图像配准的基本过程,1、根据待配准图像(浮动图像)I2与参考图像(基准图像)I1,提取出图像的特征信息组成特征空间;2、根据提取出的特征空间确定出一种空间变换,使待配准图像I2经过该变换后与参考图像I1能够达到所定义的相似性测度;3、在确定变换的过程中,还需采取一定的搜索策略也就是优化措施以使相似性测度更快更好地达到最优值。,图像配准的流程图,三、医学图像配准的基本过程,8.3 图像配准的理论
10、基础,一、图像配准原理,二、空间变换,三、参数的优化搜索,四、插值方法,五、相似性测度,一、图像配准原理,对于在不同时间或/和不同条件下获取的两幅图像A(x)和B(x)的配准,就是要定义一个相似性测度并寻找一个空间变换关系,使得经过该空间变换后两幅图像间的相似性达到最大(或者差异性最小)。即使图像A上的每一个点在图像B上都有唯一的点与之对应,并且这两点应对应同一解剖位置。,S是相似性测度,配准的过程归结为寻求最佳空间变换的过程。,公式表示:,由于空间变换包含多个参数,是一个多参数最优化问题,一般由迭代过程实现:,一、图像配准原理,二、空间变换,图像A和B的配准就是寻找一种映射关系T:XAXB,
11、使得XA上的每一点在XB上都有唯一的点与之对应。这种映射关系表现为一组连续的空间变换,如整幅图像应用相同的空间变换,则称之为全局变换(global transformation),否则,称之为局部变换(local transformation)。,图像配准的基本变换,二、空间变换,二、空间变换刚体变换,刚体:是指物体内部任意两点间的距离保持不变。刚体变换:使得一幅图像中任意两点间的距离在变换前 后保持不变。例如:人体的头部由坚硬的颅骨支撑,在处理时通常忽 略头部皮肤的微小变形,将整个人脑看作是一个 刚体。,两幅图像之间的刚体变换可由一个刚体模型描述:,s是比例变换因子。,是图像之间沿x,y,z
12、方向上的平移量。,R是33的旋转矩阵,满足约束条件:,二、空间变换刚体变换,相对笛卡尔坐标系的三个坐标轴,R有三种不同的形式:,分别表示围绕,坐标轴的旋转角度,二、空间变换刚体变换,二、空间变换-仿射变换,仿射变换:将直线映射为直线,并保持平行性。,不满足:,在笛卡儿坐标系下,二维仿射变换的旋转矩阵R表示为:,三维:,二、空间变换-仿射变换,二、空间变换投影变换,投影变换:将直线映射为直线,但不保持平行性质。投影变换主要用于二维投影图像与三维体积图像的配准。,:,是依赖于图像本身的常数。,二、空间变换非线性变换,非线性变换是把直线变换为曲线。它反映的是图像中组织或器官的严重变形或位移。典型的非
13、线性变换是多项式函数,如二次、三次函数及薄板样条函数。有时也使用指数函数。非线性变换多用于使解剖图谱变形来拟合图像数据或对有全局性形变的胸、腹部脏器图像的配准。,二、空间变换非线性变换,1.二阶多项式变换,2.薄板样条变换,其中:X是坐标向量,A与B定义一个仿射变换,U是径向基函数。,可以表示为仿射变换与径向基函数的线性组合:,二、空间变换非线性变换,在二维图像配准中:,在三维图像配准中:,二、空间变换非线性变换,三、参数的优化搜索,配准的几何变换参数根据求解方式可分成两类:一、根据获得的数据用联立方程组直接计算得到的,这一 类完全限制在基于特征信息的配准应用中。二、根据参数空间的能量函数最优
14、化搜索得到。在这一类 中所有的配准都变成一个能量函数的极值求解问题。因此图像配准问题本质上是多参数优化问题,优化算法的选择至关重要。,常用的优化算法:Powell法、梯度下降法、遗传算法、模拟退火法、下山单纯形法、Levenberg-Marquadrt法等。,三、参数的优化搜索,(一)Powell法Powell法是一种传统的确定性优化方法,又称为方向加速法,由于1964年首先提出。基本含义是:对于n维极值问题,首先沿着n个坐标方向求极小,经多n次之后得到n个共轭方向,然后沿n个共轭方向求极小,经过多次迭代后便可求得极小值。,三、参数的优化搜索,Powell法的原理:对于某一问题,将其归结为求取
15、某一目标函数的极小值。其中Y为一个向量:。,设置一个满秩的步长矩阵:,三、参数的优化搜索,,,至此,完成了第一轮n+1次的搜索。接下去进行下一轮的搜索,直至性能指标满意或满足某种停止条件为止。,三、参数的优化搜索,(二)梯度下降法 该算法在求最小化过程中直接利用梯度信息,沿着起始点梯度方向的反方向,求出最小值点,然后移动到最小值点,再重复上面的过程,直到前后点的函数值的差小于给定的误差值,则结束迭代过程。,三、参数的优化搜索,(三)遗传算法 遗传算法(Genetic Algorithm)是模拟达尔文的遗传选择和自然淘汰的生物进化过程的计算模型,是一种通过模拟自然进化过程搜索最优解的方法,它是由
16、美国Michigan大学J.Holland教授于1975年首先提出来的。,三、参数的优化搜索,(三)遗传算法 在求解优化问题时,遗传算法将优化问题当作一个生存环境,问题的一个解当作生存环境中的一个个体,以目标函数值或其变化形式来评价个体对环境的适应能力,模拟由一定数量个体所组成的群体的进化过程,优胜劣汰,最终获得最好的个体,即问题的最优解。,三、参数的优化搜索,四、插值方法,在图像配准中,空间坐标变换后得到的像素坐标位置可能不在整数像素上,因此需要用灰度插值的方法对像素值进行估计。常用的插值方法有:最近邻插值法、双线性插值法和部分体积分布法等。,(1)最近邻插值(NN),计算n和邻近四个点之间
17、的距离,并将与该点距离最小的点的灰度值赋给n。,(2)双线性插值(BI),双线性插值法又称为一阶插值算法,它是用线性插值来求像素灰度的一种方法。具体计算方法为先沿着一个坐标轴方向使用线性插值方法求出两点的插值灰度,然后沿另一个坐标轴,利用这两个点对目标点进行线性插值来求灰度。,灰度值,各相邻点的权重,与它们到n的距离成反比。,(2)双线性插值(BI),(四)部分体积插值法(PV),部分体积分布法是F.Maes等人提出来的,是对双线性插值方法的一个改进。主要是为了克服双线性插值方法在图像中会产生新的灰度值而引起图像灰度分布发生变化的缺点,以便得到比较光滑的目标函数,有利于优化搜索。,PV根据线性
18、插值的权重分配原则,将每对像素对联合直方图的贡献分散到联合直方图中与之相邻的各个像素对上,这样联合直方图上各个像素对的频度值以小数增加,因此不会出现新的灰度值而破坏目标函数值分布的光滑性。具体的计算公式为:,为权重,其取值同BI法。,(四)部分体积插值法(PV),五、相似性测度,配准过程在得到几何变换后,进一步的工作就是要找到一种合适、最优的描述量,用以表征相似或者差异,称这种描述量为相似性测度。,(一)灰度均方差,设 和 分别表示参考图像和浮动图像中的数据,两幅图像像素值的均方差可以表示为:,其中,V表示参与计算的图像区域,,表示参与计算的像素总量,,表示对图像数据的变换。,灰度均方差作为相
19、似性测度适用于单模医学图像的配准。,(二)归一化互相关,(三)互信息,相似测度形式多样,在基于全图像信息的图像配准中,以互信息量作为相似测度的方法以其计算复杂度低、鲁棒性好等特性逐渐成为当前研究的热点。,下一节对基于互信息量的图像配准方法做详细的介绍。,8.4 图像配准的主要方法,图像配准的方法有多种,目前主要的配准方法大体上可以分为两类:基于特征的配准方法 基于灰度的配准方法。,一、基于特征的配准方法,配准过程:首先对待配准图像进行特征提取,常用到的图像特征有:点、直线段、边缘、轮廓、闭合区域、特征结构以及统计特征如矩不变量、重心等等。然后利用提取到的特征完成两幅图像特征之间的匹配。,(一)
20、、基于点特征的配准,点特征是图像配准中最为常用的图像特征之一,分为外部特征点与内部特征点两种。,外部特征点:是成像时固定在患者身体上的标记物。这种方法的配准变换被限制为刚性变换。,侵入性标记物 非侵入性标记物,(一)基于点特征的配准,内部特征点:是一些有限的可明显识别的点集,可以是解剖点(一般由用户识别出),也可以是几何点(包括边缘点、角点、灰度的极值点、曲率的极值点、两个线性结构的交点或某一封闭区域的质心等)。,这种方法主要求解刚体或仿射变换,如果标记点数目足 够多,也能用来更复杂的非刚体变换。,(二)基于直线特征的配准,线段是图像中另一个易于提取的特征。一般利用Hough变 换提取图像中的
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 医学 图像 融合

链接地址:https://www.31ppt.com/p-4987176.html