基于机器学习方法的前列腺病理切片图像识别PPT.ppt

基于机器学习方法的前列腺病理切片图像识别,论文作者:钱民 华南理工大学,本文大纲,第一章 绪论 第二章 深度学习的基本方法 第三章 基于深度学习的前列腺病理图像判断第四章 基于空间金字塔的前列腺癌病理图像的识别总结与展望,第一章 绪论,课题背景及意义前列腺形态组织特征简述国内外研究现状机器学习方法介绍,1.1 课题背景及意义,最近几十年，随着人们生活水平的提高，健康越来越受到人们的重视，是当前社会最为关注的话题之一。男性生殖系统最常见的恶性肿瘤就是前列腺癌，前列腺癌在西方发达国家的发病率以及死亡率仅次于肺癌，位居男性癌症死亡的第二位。中国则是一直被认为前列腺癌发病率较低的国家，所以在前列腺癌的诊断和研究方面落后于国际水平，同时在国内也落后于肝癌、胃癌、乳腺癌等相对高发病率肿瘤的研究。但近年来，饮食、生活习惯西化以及受到人口老龄化等因素的影响，我国前列腺癌的发病率逞上升趋势，逐步成为威胁中老年男性身心健康的头号杀手。近年来，随着计算机技术以及机器学习方法的发展，计算机辅助诊断(CAD)系统成为临床辅助诊断的一个新趋势。CAD 系统对于病理诊断有许多优点:1)CAD 系统一旦核心算法确定，系统的准确率只与内部核心的算法有关，与人为因素无关，同一幅图像不管诊断多少次，都会是相同的结果；2)CAD 系统能够捕捉到切片的所有区域，避免出现遗漏；3)CAD 系统作为辅助，对提高医生诊断的敏感性和特异性有很大帮助；4)CAD系统能让医疗水平欠发达的地区，也能享受到科技进步所带来的好处。所以，越来越多的专家、学者投入到这一领域中来，前列腺辅助诊断系统的核心算法也成为了研究的热点。,1.2 前列腺形态组织特征简述,正常的前列腺组织学特征正常的前列腺组织有四种明显的结构特征：分叶结构。腺腔和腺叶分割为小叶；大腺腔结构。腺腔内乳头突起使得腺腔呈梅花状结构,腺腔体积较大；腺腔上皮由内外层细胞构成双层的结构；腔内有淀粉样小体。上述结构特征一般不出现在有病变的前列腺组织中。因此，上述四种结构特征弱化甚至消失就是前列腺癌诊断的重要依据。,图 1-1 正常的前列腺病理切片图像,1.2 前列腺形态组织特征简述,1.2.2 前列腺癌的病理特征有癌变的前列腺组织主要有以下特征：腺体结构的紊乱，浸润现象，细胞核的异型。前列腺癌病理图像对应的特征为：腺腔逐渐较小，且腺腔的边界变得平滑，没有凸起；间质纹理比较紊乱，方向不一致；细胞核变大且数量明显变多。,图 1-2 前列腺癌病理切片图像,1.3 国内外研究现状,随着计算机医学图像处理技术的发展，在病理分析和细胞组织形态等研究工作中，数字图像里处理技术的作用越来越大，如何将图像处理、模式识别、机器学习等技术最新的发展运用到医学图像上，已成为当前社会研究的热点之一。在国内，杨振森等人提出了前列腺直肠超声图像中纹理特征的提取方法，应用于前列腺癌的早期诊断，识别准确率达到 90%以上。总体来说，目前国内在前列腺病理切片图像研究方面还处于起步阶段。在国外，Ali Tabesh等人从前列腺病理切片图像中，提取了颜色直方图、分形维数、分形编码特征、小波特征、颜色、形状和纹理等多特征融合，用于前列腺癌诊断和 Gleason 分级，分别取得了 94.5%和 77.6%的准确率。目前国外的研究人员和学者主要工作在特征集类别、分类器选择以及前列腺癌的分类策略方面。,1.4 机器学习方法介绍,近年来，计算机技术和机器学习方法都得到极大的发展，机器学习在图像上的应用也取得了相当大的突破。特别是在 2012 年 ImageNet 目标识别竞赛上，由 Geoff Hinton团队实现的基于神经网络的深度学习的算法以 85%的准确率获得最佳算法，将历届最好成绩提高了 11%，这引起了学术界和工业界的又一波机器学习的热潮。本文在前列腺病理切片图像的识别方面采用了深度学习算法和支持向量机（Support Vector Machine，SVM）分类算法。,1.4.1 深度学习简介,深度学习是一种无监督学习。深度学习的概念最开始来自于人工神经网络的研究。深度学习一般通过组合较低层的特征形成更为抽象的高层表示，从而发现数据特征的分布式表示,如图1-3 所示。,图 1-3 深度学习的特征层级,对象模型,对象的局部特征（边缘特征的组合）,边缘特征,1.4.1 深度学习简介,深度学习算法是基于分布式表达(在上世纪80年代和连接机制一起被引入)的方法。分布式表达所基于的假设是所观测到的数据是由多种因素（并不是所有都被观测到）交互产生的，也就是从其他因子组合中学习一个特殊的因子，这样往往可以推广到其他不可见因子的组合。深度学习加入了这些因子被组织成多层的这个假设（被视为一个先验的未知数据生成过程），对应了不同层次的抽象或组成：高层次的表示是通过改造低层次的表示来获得的。这些因子之间的关系可以被看作类似字典或维基百科中词条之间的关系，尽管这些因子可能是数值的（比如人脸在图像中的位置）或类别的（比如是否是人脸），而在字典中的条目则是纯粹的符号。适当数量的层数和结构相关的因子，也是深度学习算法希望从样本中发现的。,1.4.1 深度学习简介,深度学习算法也涉及其他重要的思想，对应于这些未知潜在因子的广泛先验信念。关于监督学习的有趣任务（比如，给定一张图像，预测出某人的脸是否出现在图像中），一个重要的先验信息就在因子中，解释了再输入的观测变化（比如图像），有一些因子是和预测偏好高度相关的。许多深度学习算法实际上都是非监督学习的框架，比如用许多未标记的图像，并从这些图像中找他一组关于这些图像的好的表示。深度学习在图像分类、语音识别、手写识别等方面都取得了比较好的效果，甚至在一些标准数据库上的实验效果已经超过了传统模式识别的方法。,1.4.2 支持向量机简介,SVM 广泛地应用于统计分类以及回归分析，是一种监督式的学习方法。SVM 属于一般化线性分类器，这类分类器的特点是他们能够同时最小化经验误差与最大化几何边缘区，因此支持向量机SVM 也被称为最大边缘区分类器。SVM 是将较低维的向量映射到一个更高维的空间里，在这个高维空间里求得一个最大间隔超平面。在分开数据样本的超平面的两边得到两个互相平行的超平面，分隔超平面使两个平行超平面的距离最大化。假定平行超平面间的距离或差距越大，分类器的总误差越小。,第二章 深度学习的基本方法,稀疏自编码受限波尔兹曼机（RBM）栈式自编码神经网络的训练 深度信念网络的训练,深度学习算法需要构建深度的架构，有许多方法都可以用来进行构建深度架构，常用的有稀疏自编码（Sparse Autoencoder）、受限玻尔兹曼机（Restrict Boltzmann Machine）、稀疏编码（Sparse Coding）等。本章详细介绍前面两种方法，并分别介绍基于稀疏自编码和受限玻尔兹曼机的深度网络的构建和训练。其中基于稀疏自编码的深度网络称作栈式自编码（Stacked Autoencoders）神经网络，基于受限玻尔兹曼机的深度网络被称作深度信念网络（Deep Belief Networks，DBN）。,第二章 深度学习的基本方法,2.1 稀疏自编码,稀疏自编码能有效构建出深度神经网络，从而对输入数据进行深度学习。稀疏自编码能够学习出输入数据的稀疏表示，达到降维的目的，该过程为无监督的学习。神经元神经网络模型反向传播算法稀疏自编码的含义,2.1.1 神经元,为了模拟人脑处理信息的特点，就用人工神经元类比生物神经元，人工神经元主要有以下基本特征：神经元之间的联接强度决定信号传递的强弱；神经元之间的联接强度可以随训练改变；信号可以是起刺激作用，也可以是抑制作用；一个神经元接受信号的累计效果决定该神经元的状态；每个神经元可以有一个阈值。,2.1.1 神经元,对于样本集(x(i),y(i)，神经网络算法提供了一种复杂又非线性的假设模型hw,b(x),它具有参数 W，b，可以用这两个参数来拟合我们的数据。神经元是神经网络中最基本的单元。如下图所示:,图 2-1 神经元,2.1.1 神经元,这个神经元是一个以x1,x2,x3及常数项 1 为输入值的运算单元，其输出为：其中函数 f:RR称为激活函数。激活函数将选用 Sigmoid 函数：,（2-2）,（2-1）,2.1.1 神经元,其实，这个神经元的输入输出的映射关系就是一个逻辑回归函数。对于公式(2-2),f(z)导数就如下所示，后面在求参数梯度的时候会用到。,（2-3）,2.1.2 神经网络模型,神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统。现代神经网络是一种非线性统计性数据建模工具，常用来对输入和输出间复杂的关系进行建模，或用来探索数据的模式。下图就是一个简单的神经网络：,2.1.2 神经网络模型,如图所示，使用圆圈来表示神经网络的输入，其中“+1”的圆圈称为“偏置单元”，也就是常数项。神经网络最左边的一层是输入层，最右的一层是输出层。中间所有节点组成的一层被称作隐藏层。图所表示的神经网络有 3 个输入单元(不包括常数项)，3 个隐藏单元以及 1 个输出单元。,图 2-3 基本的神经网络示模型,2.1.2 神经网络模型,用ai(i)表示第 l 层第 i 号单元的输出值。当 l1 时，ai(i)=x，也就是第 i 个特征的输入值。对于给定参数集合 W,b，我们的神经网络就按照函数hW,b(x)计算输出结果。图2-3 的神经网络的计算过程就由以下步骤表示：,（2-4）,2.1.2 神经网络模型,用zi(l)表示第 l 层第 i 单元输入值的加权总和（包括偏置单元），这样我们就可以找到一种更简洁的表示法。这里将激活函数 f(.)扩展为用向量来表示，那么上面的等式我们就可以表示为:,（2-5）,以上步骤叫作正向传播。,2.1.2 神经网络模型,神经网络也可以有多个输出单元。比如，以下神经网络有两层隐藏层：L2及L3，并在L4 层中有两个输出单元。要求解这种神经网络就需要样本集(x(i),y(i)，其中y(i)R2。如果想预测的输出是多个的，那这种神经网络是很适用的。,图 2-4 多个输出单位的神经网络,2.1.3 反向传播算法,反向传播算法是一种监督学习算法，常被用来训练多层感知机。反向传播算法主要由两个环节(激励传播、权重更新)反复循环迭代，直到网络的对输入的响应达到预定的目标范围为止。激励传播环节包含两个步骤：1.(前向传播阶段)将训练输入送入网络以获得激励响应；2.(反向传播阶段)将激励响应同训练输入对应的目标输出求差，从而获得隐层和输出层的响应误差。权重更新则按以下步骤进行更新：1.将输入激励和响应误差相乘，从而获得权重的梯度；2.将这个梯度乘上一个比例并取反后加到权重上。,2.1.3 反向传播算法,反向传播算法的思路如下：给出一个样本(x,y)，首先进行前向传导运算，计算出通过网络的所有激活值，包括hW,b(x)的输出值。之后，针对第L层的每一个节点 i，我们想要计算出残差 i(l)(德尔塔)，该残差表明了该节点对最终输出值的残差产生了多少影响。对于最终的输出节点，可以直接得出网络产生的激活值与实际值之间的差距，将这个差距定义为i(nl)，第n1层代表的是输出层。将基于节点残差的加权平均值计算，这些节点以ai(l)作为输入。下面将给出反向传播算法的细节：,2.1.3 反向传播算法,2.1.4 稀疏自编码的含义,图 2-5 自编码神经网络,2.1.4 稀疏自编码的含义,稀疏性数学意义可以按如下解释，如果当神经元的输出接近于 1 的时候我们认为它被激活，而输出接近于 0 的时候认为它被抑制，那么使得神经元大部分的时间都是被抑制的限制则被称作稀疏性限制。,2.2 受限玻尔兹曼机(Restrict Boltzmann Machine),受限玻尔兹曼机（RBM）是一类具有两层结构、对称连接且无自反馈的随机神经网络模型，层间全连接，层内无连接。RBM 是一种有效的特征提取方法，用于初始化前馈神经网络可明显提高泛化能力。堆叠多个 RBM 组成的深度信念网络能提取更抽象的特征。受限玻尔兹曼机的基本模型基于对比散度的 RBM 快速学习算法,2.2.1 受限玻尔兹曼机的基本模型,RBM 可以被看作是一种无向图模型，如下图所示。v 是可见层单元，表示可以观测到的数据，h 是隐藏层单元，可看作特征检测器，通过观测数据进入网络后生成隐藏特征，W 表示可见单元和隐藏单元之间的连接权重。RBM 的可见层单元和隐藏层单元可以是任意的指数族单元，如高斯单元、Softmax 单元、泊松单元等等。,2.2.1 受限玻尔兹曼机的基本模型,2.2.1 受限玻尔兹曼机的基本模型,2.2.2 基于对比散度的 RBM 快速学习算法,深度学习算法的发明者 Hinton提出了一个快速学习 RBM 的算法，即对比散度。本文所采用基于对比散度的快速学习算法步骤如下：,2.2.2 基于对比散度的 RBM 快速学习算法,2.3 栈式自编码神经网络的训练,栈式自编码神经网络是将多个稀疏自编码串联所成的深度神经网络，可以采用依次训练每一层的贪心分层算法来预训练深度神经网络。在本小节中，主要介绍如何将自编码网络以贪心分层的方式串联起来，以及如何预训练深度神经网络的参数。,2.3.1 栈式自编码神经网络概述,2.3.2 逐层训练,2.3.3 微调栈式自编码神经网络,2.3.3 微调栈式自编码神经网络,2.4 深度信念网络的训练,深度信念网络是由多个 RBM 串联所形成的深度神经网络。,2.4 深度信念网络的训练,深度信念网络是一个生成式模型（以 P 的分布生成路径），是对输入进行多层表示的一种方法（以 Q 的分布识别路径）。最高的两层h2 和h3组成一个 RBM（受限玻尔兹曼机），较低的层组成一个有向图模型。倒数第二层的先验h2是由顶层 RBM 提供。,2.4 深度信念网络的训练,我们以逐层贪心的方式训练 DBN 的时候，用一个纯非监督的方式训练一个 DBN，在每一层单独训练过程中，都是利用前面提到基于对比散度的RBM 快速学习算法。,2.4 深度信念网络的训练,算法 2.2 逐层贪心的 DBN 训练算法,第三章 基于深度学习的前列腺病理图像判断,非监督学习Softmax 回归分类器基于 ROC 曲线的全局判断,第三章 基于深度学习的前列腺病理图像判断,在医院所有的前列腺病理切片都需要由医生观察后人工进行标注，这样无疑会增加医生重复工作量，医生长时间标注产生疲劳也可能导致人为的失误。为提高医生工作效率，减少工作流程中的人为失误，组织来源的判断是开发前列腺计算机辅助诊断系统的必要步骤。前列腺结石的识别是组织来源判断的一个主要方法。不过并不是所有的前列腺病理切片图像里面都包括前列腺结石这一病理对象，所以该方法存在一定的局限性,第三章 基于深度学习的前列腺病理图像判断,本文提出了基于深度学习的前列腺病理图像识别算法，能有效克服这一问题。深度网络非监督学习出前列腺病理切片图像局部纹理的不变特征，然后利用 softmax 回归分类器训练非监督学习得到的特征，达到识别前列腺病理图像的目的。前列腺病理图像如图 3-1 所示；而负样本则是来自其它组织，比如脾脏、心脏、鼻咽等其他部位的病理图像，如图 3-2 所示。,第三章 基于深度学习的前列腺病理图像判断,算法整体流程如下所示：,3.1 非监督学习,3.1.1 图像块的采集,对于分辨率为 800600 的前列腺病理图像，图像太大不适于直接作为栈式自编码网络的输入。为了学习到前列腺病理图像的局部特征，需要对其采样，对每一张原图像随机获取 20 个大小一定的图像块。本文采用大小为 3030 的图像块，再将图像块转为灰度图像，如图 3-4 示，作为输入数据来进行训练。原图中有一些腺腔区域，并不存在纹理特征，所以采集图像块的时候需要设一个阈值，将图像块中腺腔区域占比大于一定比例的排除掉，得到包含足够纹理的图像块。,图 3-4 3个包含纹理的前列腺 3030 灰度图像块,3.1.2 白化,白化的目的是去掉数据之间的相关联度，这是很多算法进行预处理的步骤。比如说当训练图片数据时，由于图片中相邻像素值有一定的关联，所以很多信息是冗余的。这时候去相关的操作就可以采用白化操作。数据的白化必须满足两个条件：一是不同特征间相关性最小，接近 0；二是所有特征的方差相等。常见的白化操作有 PCA 白化和 ZCA 白化。PCA 白化是指将数据经过 PCA 降维为后，每一维是独立的，为满足白化的第二个条件，这时只需要将每一维都除以标准差就得到了每一维的方差为 1，也就是说方差相等。公式为：,其中xrot,i是第 i维特征向量。,(3-1),ZCA 白化是指数据 PCA 变换，但是并不降维，因为这里是把所有的成分都选进去了。这时也同样满足白化的第一个条件，特征间相互独立。然后同样进行方差为 1 的操作，最后将得到的矩阵左乘一个特征向量矩阵 U。ZCA 白化公式为：本文采取 ZCA 白化之后的图像块如下图所示。,3.1.2 白化,(3-2),图 3-5 对图 3-4 纹理图像块 ZCA 白化后的效果,3.1.3 非监督学习,本节利用 2.3 节描述的方法构建深度神经网络，将白化后 3030 大小的图像块作为栈式自编码神经网络的输入，假设首层隐藏单元设为 200 时，输入数据与隐藏单元的连接权重 W(1)大小为 200 900，可视化训练后的 W(1)如下图所示，我们可以看到这些隐藏单元学习出来的整体效果。,3.1.3 非监督学习,左图的每个小图像块都表示一个输入图像 x，它可使这 200 个隐藏单元中的其中之一获得最大激励。可以看到，不同的隐藏单元学到了在图像的不同位置和方向最显著的特征。,图 3-6 自编码网络训练得到的 W(1)（输入数据与隐藏单元的连接权重）,3.1.3 非监督学习,经过微调后的连接权重如下图所示：,图 3-7 微调后的连接权重 W(1),3.2 Softmax 回归分类器,输入图像通过预处理，然后经过深度神经网络经过非监督学习，学习出能较好表征原始输入图像块的特征用于最后的分类，如下图所示。这里我们使用的是 Softmax回归模型。该模型是 logistic 回归模型一般化，可以用来解决类型标签 y 的可能取值多于两种的情况。Softmax回归是一种监督式的学习算法，本文将它与深度学习（无监督特征学习）方法结合起来使用，进行前列腺病理切片图像的识别。,3.2 Softmax 回归分类器,在 Softmax回归中，类型标记 y 可以取 k 个不同的值，当然 k 也可以等于 2。于是，对于我们的训练集(x(1),y(1),.,(x(m),y(m)便有y(i)1,2,.,k。,3.2.1 代价函数,由于 Softmax 可以用于多分类，所以在后面的公式会用到指示函数，令 l.是指示函数，其取值规则为：l值为真的表达式=1，l值为假的表达式=0。例如，表达式l1+2=3的值为 1，l3+3=5的值为 0。代价函数为：,(3-4),3.2.2 权重衰减,为了让参数值保持比较小的状态，通过添加一个权重衰减项来修改代价函数，这个衰减项能惩罚过大的参数值，代价函数变为：权重衰减项不仅能让参数保持较小的状态，对于任意的 0，而且能让代价函数变成严格的凸函数，这样就可以保证得到唯一解。,(3-7),3.3 基于 ROC 曲线的全局判断,在信号检测理论中，ROC 曲线又被称作接收者操作特征曲线（Receiver Operating Characteristic curve），主要是用于对灵敏度进行描述的功能图像。ROC 曲线可以通过对真阳性率（TPR，又被称作灵敏度）和假阳性率（FPR，被定义为 1-特异度）的描述来实现。由于是通过比较两个操作特征（TPR 和 FPR）作为标准，ROC 曲线也叫做相关操作特征曲线。通常取 ROC 曲线上最左上方的点作为阈值，因为此时具有较高的灵敏度和特异度，ROC 线下面积（Area Under Curve,AUC）越大，则说明模型效果越好。由于我们的输入都是图像块，输出判断的也是当前块是否属于前列腺病理图像，取自同一病理图像的不同图像块有可能得到的是不同的结果。因此，我们在同一幅图像所采集的图像块中，当预测结果为正的比例超过阈值 r 时，就将该图像判断为前列腺病理切片图像。为了提高算法整体的灵敏度和特异度，我们会根据不同的阈值求出算法的灵敏度和特异度，取左上方的点作为最终的阈值。,3.3.1 ROC 曲线的主要作用,确定最佳分类阈值。不同阈值下真阳性率和假阳性率不同，越靠近左上方的点，真阳性率越大，假阳性率越小，所以最后选取最左上方的点作为最终分类参数。对多种模型分类效果进行比较。同一份数据，用不同的算法会得到相应分类的结果，分别画出对应的 ROC 曲线，通过对比两个模型的 ROC 曲线，可以选择 AUC 较大的算法作为最终的分类算法。,3.3.2 ROC 曲线的评价指标,ROC 曲线下的面积（area under curve，AUC）是评价模型效果的一个指标。在 AUC0.5 时，AUC 的值越接近于 1，则模型分类效果越好；AUC 大于 0.5 且小于等于 0.7时，通常认为有准确性较低；AUC 大于 0.7 且小于等于 0.9 时准确性中等；AUC 大于0.9 时，则认为准确性较高。AUC0.5 时，说明模型完全不起作用，相当于随机猜测，没有任何价值。当 AUC0.5 时，可以将预测结果中的正负样本交换一下使 AUC0.5。,第四章 基于空间金字塔的前列腺癌病理图像的识别,SIFT 特征简介基于 BoW 的前列腺病理图像表示 基于 SPM-BoW 的前列腺病理图像表示 基于支持向量机的分类结果,第四章 基于空间金字塔的前列腺癌病理图像的识别,前列腺正常的病理图像和癌变图像在局部的纹理结构特征方面区分度是不明显的，所以利用上一章基于图像块的分类方法是不能将两者很好的区分开。而对于癌变的图像，整体结构上相对正常图像会有以下几个方面明显的区别，如下图所示:,第四章 基于空间金字塔的前列腺癌病理图像的识别,1.前列腺间质结构紊乱，方向不规则；2.腺腔区域变小，甚至无腺腔；3.细胞核散乱分布。基于此，本章将局部特征按空间信息组织起来形成全局特征，用于癌变前列腺病理图片的识别。,第四章 基于空间金字塔的前列腺癌病理图像的识别,本章采用了基于空间金字塔匹配(Spatial Pyramid Matching,SPM)的前列腺癌病理图像的识别方法。算法整体流程如下图所示：,4.1 SIFT 特征简介,SIFT 是一种提取图像局部特征的算法。1999 年 David.G.Lowe总结了现有的基于不变特征的检测方法，并正式提出了一种图像局部特征描述算子(SIFT)，并在 2004年得以完善。SIFT 是图像的局部特征，对平移、尺度缩放、旋转、亮度变化保持不变性。SIFT 特征的生成一般包括四个步骤，如下图所示。（4.1.1-4.1.5为SIFT特征详细说明，此处省略）,4.2 基于 BoW 的前列腺病理图像表示,4.2.1 BoW 简介,BoW（词袋模型）的主要作用是简化表示，被用在自然语言处理和信息检索中。在这个模型中，一篇文章不考虑其语法和词的顺序，将其表示成一组无序的词的集合。将所有文章中出现过的单词全部收集到一起，定义为一本字典，而每篇文章都如同一个袋子，里面包含文章中出现过的单词及频率。词袋模型非常简单，与 SVM 分类器结合，在文本分类方面取得了非常好的效果。BoW 模型在文本分类中取得了非常好的效果，这也引起了在计算机视觉领域的研究者们的关注。当从图像中提取出大量局部特征后，需要找到一种合适的方法来对图像进行描述。研究者们借助文本分类的思想，利用 BoW 模型来对图像进行标示。BoW 模型对图像进行建模通常包括特征检测、特征描述、生成字典三个步骤。通过上一节，对于一幅图像，我们已经完成了前两步的计算，得到了图像的 DSIFT特征描述子，DSIFT 为 n128 的矩阵，n就表示该图像检测到的特征点个数，不同图像中 n可能是不同的。,4.2.2 基于 BoW 的前列腺病理图像表示,本小节将介绍前列腺病理图像基于 BoW 模型表示的方法。提取出所有图像 SIFT 特征之后，每个图像都含若干个 SIFT 特征描述子，每个样本得到一个 m128 的矩阵，m就是图像中得到的 SIFT 特征描述子的个数。通过 K 均值（K-means）聚类算法将所有样本特征进行聚类，聚类中心的个数定义了字典的大小，每个聚类中心便是一个视觉单词，得到一个 K128 矩阵，每一行就一个类中心。求出聚类中心后，用 K 阶直方图来表示一幅图像，将每个样本各个特征赋给离它最近的类，该类所对应的灰阶加 1，最后就会得到一个 K 阶直方图。即使对于不同大小和 SIFT 特征个数不同图像，最后得到的都是一个 K 阶直方图，所以图像大小不同时，该算法仍然适用。最后将直方图归一化，就得到了该图像词袋模型。,4.2.2 基于 BoW 的前列腺病理图像表示,4.3 基于 SPM-BoW 的前列腺病理图像表示,4.3.1 金字塔匹配核,假设 X 和 Y 是 d 维特征空间中两个向量集合。Grauman 和 Darrell 提出了金字塔匹配来计算两个集合之间的相似度，其核心思想是：通过在原图中作一系列越来越粗的网格，得到其特征空间。然后计算不同分辨率下相匹配特征数的加权和，网格划分越细权重越大。在一个固定的分辨率下，如果两个点落在同一个网格中，则认为是匹配。金字塔匹配核按下式定义：,（4-6）,4.3.2 基于 SPM-BoW 模型的前列腺病理图像表示,本小节将介绍前列腺病理图像基于 SPM-BoW 模型的表示方法。与 4.2 节的主要区别在于，本小节是按层级 l 去求取每一层的 BoW 模型，先将原图像划分为不同层次，如下图所示，然后按层次将原图像中抽取的特征聚类到 K 个视觉单词所表示的类别中，然后用视觉单词直方图来表示每个层级，再将各个层级的直方图按顺序连接，就形成了最终表示该图像的特征。,4.3.2 基于 SPM-BoW 模型的前列腺病理图像表示,4.3.2 基于 SPM-BoW 模型的前列腺病理图像表示,4.4 基于支持向量机的分类结果,通过前面几节求得前列腺病理图像的 BoW 表示和 SPM-BoW 表示后，并将其作为SVM 分类器的输入特征，达到识别前列腺图像是否癌变的目的。本节对前列腺癌病理图像的分类算法进行了实验。所有前列腺病理图像都经过医生标注，总共有 384 幅分辨率为 800600 的前列腺病理图像，其中正常的前列腺病理图像 215 幅，训练集有 151幅，测试集有 64 幅；癌变的前列腺病理图像 169 幅，训练集有 129 幅，测试集有 40 幅。进行 5 次实验，每次实验的训练集和测试集均随机选取，最终结果取 5 次实验的均值。本节采用 SVM 作为分类算法，核函数用的 4.3.1 节介绍的金字塔匹配核。,4.4 基于支持向量机的分类结果,三个层级的权重分别为 1/4，1/2，1。在对特征进行相似度计算的时候，根据公式(4-5)计算每个视觉单词的金子塔匹配核的值，再利用下式进行求和，得到最终核函数和，再带入到 SVM 分类其中进行分类。从图 4-9 可以看出，将图像划分为 L 层时，总共有特征维数为：当视觉字典大小为 300 时，求得 2、3、4 层空间金字塔的特征维数分别是 1500，6300，25500。当 L=0 时，就是基本的 BoW 模型。,4.4.1 基于 BoW 模型的前列腺癌病理图像分类实验,BoW 模型是对图像在字典上的词频分布进行统计，用一个归一化的词频向量来表示一幅图像。所以字典的构建非常关键，字典的大小直接影响后续分类的准确率和时间复杂度。下表列出了，不同字典大小的分类准确率、灵敏度、特异度。综合考虑分类准确率、灵敏度、特异度以及算法效率，我们选择字典大小 K=300。,4.4.2 基于 SPM-BoW 模型的前列腺癌病理图像分类实验,对于空间金字塔匹配的词袋模型，空间金字塔的层数是影响分类准确率的关键参数。不同的层数，最后获得特征向量维数也不相同。所以，适合的金字塔层数有助于前列腺病理图像空间信息的表达，能提高分类的准确率、灵敏度以及特异度。由实验结果可知，当字典大小为 300，空间金字塔层数为 3 层的情况下，分类效果最好，同时在执行效率上也是可以接受的，相比基础的 BoW 模型，分类准确率、灵敏度和特异度都有相应的提升。,4.4.2 基于 SPM-BoW 模型的前列腺癌病理图像分类实验,本章还将实验结果与基于病理对象特征的分析方法（以下简称“病理对象特征”）进行了对比，将文献中的方法采用本文的数据集进行测试，对比结果如下表所示。基于SPM-BoW的方法在分类准确率和特异度方面都取得比基于病理对象特征的方法更好的效果。在前列腺病理图像诊断中，如果正常的图像被算法判为癌变的就被称作为假阴性，灵敏度越高的说明假阴性率就越低；如果癌变的图像被算法判为正常的图像被称作为假阳性，特异度越高的说明假阳性率就越低。在实际诊断中，如果一个癌变的图像被算法判为正常的图像，那么有可能使患者错过最佳的治疗，给患者带来严重的后果。所以在准确率相差不多的情况下，具有更高特异度的算法更具实际应用价值。,总结与展望,总结与展望,本文以 H&E 染色的前列腺病理图像作为研究对象，利用前列腺病理图像的局部信息和空间信息，通过机器学习的方法，设计出适合前列腺病理图像识别算法和癌变的前列腺病理图像识别算法，对开发高效、智能的前列腺计算机辅助诊断系统，辅助医生进行诊断，提高诊断准确率有一定帮助。本文为前列腺计算机辅助诊断技术提供了新的思路，用机器学习的方法直接从前列腺病理图像的结构信息入手，利用机器学习的方法，学习前列腺病理图像的局部特征和全局特征，使分类方法对图像具有更强的鲁棒性。,总结与展望,由于前列腺病理图像本身的复杂性，实验条件,以及作者本身水平、时间的限制，本文还有很多可以改善的地方：对于前列腺病理图像，采集样本方面有一定难度，样本集的数量还不够多，而对于机器学习的方法，样本集数量只有足够多了以后，才能充分学习到图像的足够好的特征表示。同时采集图像的过程也需要一套标准化的流程，否则受人为因素的影响，可能采集图像就先天存在一定的差异。,总结与展望,对于深度学习的方法，目前直接把前列腺病理图像中的图像块按像素作为输入，3030 的图像块，连接权重W 就有 180000 维，在需要学习更大图像块以及更多隐藏单元时，占用的资源就会更多。所以就需要考虑如何能进行优改方法对大图像块的学习，以学习到更多特征。在对前列腺癌的分类识别方面，本文只试验了 DSIFT 特征，并没有对特征选择方面展开讨论。以后的研究中，可以考虑更多的特征以及多特征融合的方法，这可能会是另外一个研究方向。,报告结束！谢谢大家！,