医学人工智能与磁共振成像技术课件.pptx

《医学人工智能与磁共振成像技术课件.pptx》由会员分享，可在线阅读，更多相关《医学人工智能与磁共振成像技术课件.pptx（61页珍藏版）》请在三一办公上搜索。

1、医学人工智能与磁共振成像技术,1,主 要 内 容,2,背 景 知 识研 究 方 法临 床 应 用,主 要 内 容,3,背 景 知 识研 究 方 法临 床 应 用,AI+医学影像,共识：AI医学影像将成为临床的助手,科研界工业界,股市预测,自动驾驶,推荐系统,=A股指数,=方向盘角度,=购买可能性,使用者 A商品 B,AI在做什么？,6,MRI+AI 可以帮助医生做什么？,临床任务：诊断、手 术、放疗、化疗、活 检、筛查 医生工作：识别、勾勒、定位、测量、计算、评估,先验知识：解剖、生理、病理等 专业知识，人脑图像分析功能，医生诊断治疗经验；眼脑手配合,AI,影像工具：MRI、X-Ray、CT、

2、PET、US、DSA、MicroscopyAI,7,模 型f(x),x1x2xN,y1y2yM,人工智能系统的一般性描述,变量定义：输入变量 x=(x1,xN)，输出变量 y=(y1,yN)。训 练集 T=(x1,y1),(xN,yN)。基本假设：假设(x,y)遵循联合分布，P(x,y)且独立同分布。模型 f(x)是输入空间 X 到输出空间Y 的映射的集合，这 个集合就是假设空间F，即F=f|y=f(x)或F=P|P(y|x)。AI问题的一般性描述：给定输入数据x或训练集T，构建机器 学习模型 f(x)或 P(y|x)，对输出数据 y 进行预测。,8,人工智能模型的三要素,三要素：人工智能方法

3、=模型+策略+算法 模型：所要学习的映射函数 f(x)或条件概率分布，选定一个模型空间，比如线性模型 f(x)=wx+b策略：按照从假设空间中选择最优模型的准则如何判定一个模型的优劣，比如预测值与真值交叉熵最小算法：依照上述准则从假设空间中得出最优模型的计算方法如何从模型空间中找到最好的模型，比如梯度下降搜索算法,步骤 1:模型 定义一个 模型空间,步骤 2:策略 评判一个 模型好坏,步骤 3:算法 找到一个 最好模型,举例说明：逻辑回归分类模型的三要素,i,ii,w x b,z,z,w1wi,wI,x1,xi,xI,b,z,z,z,1 e z,1,z,Sigmoid,Function,=,+

4、,步骤 1:模型,定义一个 模型空间,模型：模型空间就是,所描述的所有模型的集合,水桶：N个进水管，一个出水管。,激活函数,加权求和,举例说明：逻辑回归分类模型的三要素,真值,步骤 2:策略 评判一个 模型好坏,i,ii,w x b,z,z,1,w,wi,I,w,x1,xi,xI,b,z,y,预测值,交叉熵,=,策略：使得,最小的那个模型，就是最好的模型,颜色深浅:损失函数L(w,b)的大小,举例说明：逻辑回归分类模型的三要素,(,)计算,步骤 3:算法 找到一个 最好模型,=+,13,举例说明：逻辑回归分类模型的三要素,步骤 3:算法 找到一个 最好模型,1,2,Loss,The value

5、 of the parameter w,平坦区域,下降很慢,局部极小值被卡住,=0,鞍点被卡住,=0,0,14,损失 函数,w1,w2,均方误差,步骤 3:算法 找到一个 最好模型交叉熵,举例说明：逻辑回归分类模型的三要素,1,x,2,x,y,z,w2,x1 w1,x2,b,Class2,Class1,y 0.5y 0.5,z w1 x1 w2 x2 b,z 0,z,0,z 0,z 0,异或问题?,(0)(0),逻辑回归的局限：线性不可分问题,Deep Learning!,神经网络,多个单元连接在一起，模型参 数w和b通过学习得到.,z,z,z,“Neuron”z,x1,2,x,x256,y1

6、y2y10,Cross Entrop y,“1”,1,0,0,target,Softmax,10,=1,1,2,10,Given a set of,parameters,深度神经网络三要素是什么？,模型：深度神经网络，由网络结构决定；策略：损失函数,算法：梯度下降,MRI在计算机看来是什么？,磁共振图像,灰度,形状,位置,纹理,边缘,如何从MRI图像中获取有用特征？,手工设计特征,病灶分割,特征提取,特征选择,分类器,去冗余度 单因子排序 LASSO mRMRBoruta,影像组学,逻辑回归 随机森林 SVM人工神经网络XGBoost,手工特征工程,影像组学特征有什么意义？,灰度,形状,位置,

7、纹理,Robert Haralick,http:/haralick.org/,GLCM GLRLM GLSZM NGTDM,Haralick RM,Shanmugam K(1973).Textural features for image classification.IEEE Transactions on systems,man,and cybernetics,(6),610-621.Galloway MM.(1974).Texture analysis using grey level run lengths.NASA STI/Recon Technical Report N,75.,全

8、连接前馈网络,鉴别诊断，预后预 测，疗效预测,卷积层,池化层,卷积层,池化层,Flatten,特征提取,多次堆叠 重复使用,深度卷积神经网络,线性分类器,6 x 6 image,卷积核 1,stride=1,同样的局部特征会多次出现,卷积神经网络在做什么？,卷积神经网络在做什么？,6 x 6 image,-3,1,3,-1,Filter 2,1,-,1-1-2-30,1,-1,1,-1,3,-2-20-44 x 4 image,采用每个卷积核重复做加权求和,stride=1,Feature Map-1-2,“monkey”,f1,f2,f3,f4,所有的卷积核都是通过学习得到的,卷积神经网络提

9、取了什么特征？,Keras,How to use the neural network(testing):case 1:case 2:,Dont worry if you cannot understand this.Bcoz Keras can handle it.,Keras/Pytorch 使用心得,朋友觉得我在,导师觉得我在,我妈觉得我在,我自己觉得我在,大家觉得我在,事实上我在,Deep Learning 研究生,主 要 内 容,背 景 知 识研 究 方 法临 床 应 用,28,Classification,Evaluation&Interpretation,CT/MR/PET,AI

10、+医学影像分析：典型流程,分类特征/分回类归,统临床计决策分支析持,入组病人,30,研究类型：前瞻性、回溯性？多中心？AI影像分析最好进行多中心研究入组条件：肿瘤级别？年龄？TNM？亚型？影像？,选择不当会导致文章直接,悲剧,病例数目：划分训练集、验证集和测试集？类别均衡性？划分不当会导致AI模型训练困难,MRI预处理,灰度 标化,配准,去偏 移场,去骨,标准化前的灰度直方图,31,标准化后的灰度直方图,病灶分割,手工分割：不同医生分割结果之间的差异，导致可重复性问题 需要做特征的可重复性测试自动分割：需要给出分割的精度，在benchmark数据集评估 自动分割结果需要逐个核对,32,影像组学

11、：特征提取,特征提取过程中涉及到的参数：像素大小、量化方法、灰度等级,33,影像组学：特征选择+分类器,特征选择：减少特征数量，防止过拟合，增加可解释性特征选择算法：特征选择算法的选取要兼顾性能和可解释性特征选择数量：数量适中，兼顾模型复杂度和模型可解释性 模型选择：随机森林，支持向量机，逻辑回归，Cox，LASSO,34,深度学习：网络结构和训练方法,测试集表现良好?,训练集表现良好？,YES,YES,Loss/深度/预处理/超参数重新定义网络结构,Early Stopping/验证集正则化Dropout,No,35,No,深度学习：如何调参？,NVidia GPU is all you n

12、eed,Talk is cheap,show me the$,VGG(2014),GoogleNet(2014),3.57%,Residual Net,(2015),16.4%AlexNet(2012),7.3%,6.7%,36,MRI智能分析模型训练与测试流程,临床数据1,训练独立测试,智能模型,影像数据,影像数据 标准化,肿瘤区域 分割,特征工程/深度学习,机器学习 模型构建,临床数据2,临床数据3,性能 测试,主 要 内 容,38,背 景 知 识研 究 方 法临 床 应 用,应用1：MRI影像组学生存分析,术前磁共振影像预测脑胶质瘤病人总生存期,临床问题,磁共振影像组学特征是否可以预测胶

13、母瘤 病人总生存期？是否具有预后价值？,科学假设,现有不足,采用医生判读的少量影像学定性特征，精度 和可重复性有限,建立术前磁共振影像组学生存期预测模型，评估模型的独立性、准确性和临床价值,39,研究目标,影像组学生存分析：脑肿瘤分割,3D U-Net,VAE 正则化,多任务网络,DICE LOSS+KL LOSS+L2,40,自研影像组学软件：Ultimage Lab,41,影像组学特征提取,灰度特征,形状特征,纹理特征,提取参数,中间结果,42,影像组学特征选择,去冗余度,LASSO,Boruta,特征合并,43,影像组学分类模型训练,随机森林,SVM,逻辑回归,ANN,44,影像组学分类

14、模型测试,测试选型,性能指标,45,总生存期预测结果,训练集KM生存曲线,46,验证集KM生存曲线,Molecular-Clinical Nomogram,Rad-Mol-Clinical Nomogram,Calibration Curve,Calibration Curve,47,Radiomics-Molecular-Clinical Nomogram,Multilayer Nomogram:提升预后性能,48,K-M Curve for Multilayer model,Decision Curve,应用2：MRI深度学习生存分析,术前磁共振影像预测脑胶质瘤病人总生存期,临床问题,磁共

15、振深度学习是否可以预测胶母瘤 病人总生存期？是否优于影像组学？,科学假设,现有不足,影像组学需要手工设计并调试特征工程,建立术前磁共振深度学习生存期预测模型，与影像组学模型进行性能对比,49,研究目标,Deep Attention Survival Model,3D Resnet,金字塔 注意力机制,数据预处理,-log最大似然 LOSS+L2,50,Deep Attention Survival Model,Attention Map,Prediction Performance,51,MGMT启动子甲基化是重要分子标志物,N Engl J Med,2005;352,Nature Revie

16、ws DP,vol 1,2015,重要的预测和预后分子标志物,52,应用3：MRI智能分析预测MGMT启动子甲基化,依靠术前MRI影像无创检测脑胶质瘤MGMT启动子甲基化,临床问题,磁共振智能分析是否可以预测胶母瘤MGMT甲基化？如何进行解释？,科学假设,现有不足,术中取组织，做分子病理检测,建立术前磁共振MGMT甲基化人工智能 预测模型，尝试进行解释,53,研究目标,特征选择方法对于Radiomics的影响,The n best features are not the best n features,All-relevant Features,MW U FDR-p0.8,RF Model

17、I,RF Model II,54,Radiomics预测脑胶质母细胞瘤MGMT甲基化,55,Relevant Model I,Ranking Model II,Resnet for Shape,Resnet for Intensity,Resnet for Heterogeneity,Resnet for Overall,MGMT未甲基化,MGMT甲基化,Deep Radiogenimocs 预测MGMT甲基化,56,ROC curve,PRC curve,深度学习方法略优于影像组学方法,57,医学影像人工智能诊疗面临的挑战,痛苦调参。,临床决策。,数据标注，先人工，再智能。,58,医生+人工

18、智能：“医工结合”,CP Friendman,A“Fundamental Theorem”of Biomedical Informatics,Journal of the American Medical,Informatics Association,16(2),2009,59,信息变革与人工智能发展下的影像科医生,人工智能是否会替代影像科医生 无法下定论，但是那些使用人工 智能技术的影像科医生，一定会 代替那些不使用人工智能技术的 影像科医生！Radiologists using AI will replace those who do not!,IS3R国际影像战略 策略研讨会副主席,未来的影像科医生应该是影像信息学专家!From radiologists to imaging information expert!60,感谢!,61,