多模态医学影像与人工智能.docx

Q库建G)多毓、多中心数据库：20000余例乳腺癌、头颈肿瘤、抑郁症北京协和医院、北京大学肿瘤医院、复旦大学肿瘤医院等近20家故据与人工智饨实脸室息I耿鹏的屏幕共享IntroductionCESM（对比增强能谱X线摄影）2017年至今，已完成IOoOo余例小娓导人工智能实舱室程大鹏的屏幕共享0h研究思路第一部分第二部分第三部分第四部分第五部分第六部分预测基因表达工94程大璃的屏幕共享肿瘤诊断1预测淋巴结转移预测病理分型预测新辅助化疗疗效预后预测预测术后复发风险深度学习影像组学：A.图像获取B.病灶分割C.特征提取D.特征筛选E,模型构建影像组学：高通量地提取海量影像信息，实现肿瘤分割、特征提取与模型建立，凭借对海量影像数据信息进行更深层次的挖掘、分析和预测，辅助医师做出准确的诊断息,程大昭的屏幕共享裁据鸟 x16 处t第一部分：深度学习：乳腺肿瘤分类 A流程图MaoN,etal.BritishJournalofCancer,2022（中科院1区，IF=9）剧据马人工智怩实验宦出程大胭的围幕共享全自动管道系统对乳腺肿瘤进行自动分割和分类Adaptive ConvEntrj, owRefineNetMuti-resolution fusion Chained Residual pooling Output ConvXceptionMiddle flowExit flowPPMGlobal averagepoolingSeparable BIoCkZhengT,etal.eCiInicalMedicine,2023（柳叶刀子刊，中科院1区，IF=17）照据名人工留像龄最程为鼬瞬献享第二部分：基于DCE-MRI深度学习的乳腺癌自动分割、诊断和淋巴结转移预测RaNciIOI第一阶段段对病灶实现自动分割第二阶段对分割的病灶进行良恶性分类对分类为恶性的患者进行淋巴结状态预测244X241-f¾E1G一wfaRsNcXdOIQQOCOOooooOQCAverageScwr4裁据苫xM般蜜第三部分：瘤内和瘤周影像组学对乳腺癌新辅助化疗(NAC)早期预测(1)瘤内(2)瘤周5mm(3)瘤周 IOmm(4)瘤内+瘤周5mm(5)瘤内+瘤周Iomm提取五个区域的特征特征筛选-六种机器学习方法对五种组学特征建模MaoMetal.EurRadiol,2022,程大鹏的屏幕共享熬提与人工留犍实验宦第三部分：MRI-病理WSl多模态融合预测乳腺癌新辅助化疗(NAC)疗效1'"rll1ltl/,q<'Q8Gx8O38d.集成模型的构建MRI标就达到PCR未达临床信息：分子分型、年龄、分期等,网络模式脑功能与结构网络变化疾病影像标记.模式识别Ii与预测三三03ScientificResearch脑成像+人工智能,程大鹏的屏幕共享功能成像活动模式成像多网合裁据名人工学解除t模络态融三三03ScientificResearch脑功能成像+机器学习B CnMrark> of damic buin network X* ,me!基于时间和空间变异性特征，诊断抑郁症GaiQ,etal.JMagnResonImaging,2022,程大鹏的屏幕共享影像+病理1.ancetDigitHealth2022ArticlesDevelopmentandvalidationofaradiopathomicsmodelto、®predictpathologicalcompleteresponsetoneoadjuvantChemoradiotherapyinlocallyadvancedrectalcancer:amulticentreobservationalstudyI.iifeng"J<l>envLiu11Chaofengl.Zi>enhuili.Xia<,inglxx".I.izhiShgtYtmdIongWangYnnHIKIngHaiyangChenlXiadinPo隼ShuaiLkxFangHcJmZheng.XhoxhunMcngPciyiXiceGuanyuYajigYiDingMingbiaoWcijingptngYunAIicn-ChieHung(.WcthuaZhou.DanidRWahHP吨LanUiCTianLXiangboWantoa结合磁共振图像和病理全切片成像(WSl),采用影像病理组学分析，区分直肠癌新辅助化疗的不同反应，结果显示多模态AI模型高于单一模态模型(单纯影像或病理图像)檄据与工智犍脸空&I程大般的屏幕共享KnaAoaoqublonROl8lnolOnFeiMrrClZImFoxurocvu/alonMWcotfrkoS«a»ci"gMMBMWIrfauicF2CIWo<*kfh-*PtMy必FA11MCMM pah rcop>Histopatholog. aberrations annature communications.uLUWUMAUROCREAD D<HJ clure, m amnaaaxnprcdiem3PierriPC-CHihnature communicationsCSHDkMOMAiArticleacancer patienthttps:/doi. org10.1038s41467-023-43172-8ArticleAccepted:3 March 2023Check for updatesMu-abellrTD<MCMM KniNlPCaUhIZaKWHMOMAl UNcImW IPC<HP>MACieOOMMOMA) MCRO2FCHPublished online: 13 April 2023Received:4 August 2022PPP2R2(Mr)MPf2R2PCCHPDeeplearningofcellspatialorganizationsidentifiesclinicallyrelevantinsightstissueimagesRcwvfhof7oxcpt%Cinceruc>lStnxnJfSTR)N1.yNhx7IaLVM:Mim(MUCX%COECHMeolXSarK<n>tpnt>cum<TtM):Ti»ixdchn<DEBSmthr<k(M12S:-AdirwcIiiBuelADIlK环境二nature mmunicationsArticlehip、，"orlO.1O387H67-O2BT3172-8Received:24 June 2023Shidan Wang (g), ,Ruichen Rong11Qin ZhoU1DOnghan M.Yang',Accepted:2 November 2023-Xinyi Zhang !,Xiaowei Zhan11Justin Bishop21Zhikai Chi O2,CIare LWiIheIm2, Siyuan Zhang ?,Curtis R.Pickering*,Mark G.Kris1John Minna5.87,Published online:! 1 December 2023Yang Xieta3StGuanghua Xiaoola3Check for updatesMacrophage <Karyorrhexts ROd Blood CellDeeplearningofcellspatialorganizationsidentifiesclinicallyrelevantinsightsintissueimages丈眼掂鸟人工片犍卖脍蜜息大的解我享Hffl研究热点I基于领域知识的深度学习对乳腺增强超声视频进行会Radiologists pay more uKenlinnJ,hc Merhd phase l了一,“Time(b)Brighncs Change CunxHyVmai八 KrutH leiec Guided Tcnon Anenitm MtnlideRriMhgjExtiuct Key FraitSclf*lemingTemporalAHElIIn Module.Rad ink 军 i7、，Attention WeightC×T×H×W一w一卜T 田C×l×HxWCMallemMeJChaedSE-l.a>crClaNsilicalion>v>vIEEETRANSACTIONSONMEDICALIMAGING,2021破据易星工智饯t1g大的屏共享El研究热点CZ多组学二转录组学、蛋白质组学、代谢组学。AA-M>hIgkdFeAjfCQuaiifNH汕AlkfiiMiRJCXAhKSH-wt>¼-IMiiiMinrDiwreCDKNLVcw，noaunSAAC»(RMAJfog*6eGrmtanelwbX)11WeaklySupervisedMuHmodalTrainingValidationInterpfetaUityAnalysis,KnowledgeDiscoveryk2R*taroRadiology,2023'cM11K<ntMMongon»vaoonstrti>fits>nooraandradorsxxh!aocxeATRXUTjipgxrnaMUJtnKXIaIRJiOnAcntk)11Vi乂taiZatk)nCancerCellArticleBEGlbbaJExptaraionCelPressOPENACCESSygnjyPi>ertStratlcabon*据导人工喈第实除生息大的共享