上科大生医工在线学术讲座实录:全模态医学影像研究与教学

发布时间:2021-09-22浏览次数:214

2021年9月2日晚,受上海科技大学生物医学工程学院 (上科大生医工学院) 曹国华教授邀请,美国伦斯勒理工大学讲席教授 (Clark & Crossan Chair Professor)、生物医学影像中心主任 Ge Wang 教授做客上科大生医工学院在线学术讲座。伦斯勒理工大学成立于1824年,是美国历史最悠久的工科高等院校,也是国际上最早建立生物医学工程学科的大学之一,并在医学影像仪器、医学影像分析等领域均取得了一系列对业界富有建设性和启发性的学术成果。Wang 教授是 IEEE、SPIE、OSA、AIMBE、AAPM、AAAS 和 National Academy of Inventors (NAI) 会士。通过线上直播的方式,Wang 教授为国内外学界人士带来了 “伦斯勒理工大学的医学影像研究与教学” (Medical Imaging Research & Teaching @ RPI) 主题演讲。此次讲座由上科大生医工学院曹国华教授主持。



在讲座的第一部分,Wang 教授首先介绍了他的团队在基于人工智能技术的 CT 影像方面的研究工作,主要包括深度学习算法在低剂量 CT 图像去噪、CT 影像超分辨率图像重建、去除金属伪影三方面的应用。为综合评估深度学习算法在这些 CT 影像重建任务的可行性,Wang 教授团队开展了大规模双盲试验比较其研发的深度学习算法与多款商用重建软件的性能,结果表明在上述三种影像重建任务中深度学习均取得不低于甚至优于商用重建软件中最先进传统算法的性能,相关成果发表在 Nature Machine Intelligence 期刊。除前述三种应用外,多数医学影像的重建过程也可以用深度学习的方法来重新审视和规划,例如 Wang 教授团队利用对抗学习和模拟数据实现了光学显微镜影像的超分辨率重建。


大规模双盲试验对比 Wang 教授团队研发的

深度学习算法与多款商用重建软件的性能


Wang 教授随后指出尽管在医学影像重建中取得了优异性能,深度学习具有对图像噪声不稳定的弱点;而传统的压缩感知算法虽然性能不及深度学习方法,但由于具有 Kernel Awareness,因此没有这个弱点。其研究团队结合两类算法的优点,在数据先验性、数据保真性、和稀疏性三个子空间交集中找到最优解,提出一种分析的压缩迭代深度学习框架 (Analytic Compressive Iterative Deep Framework, ACID),该算法能够更好更稳定地进行 CT 医学影像重建。


CT 影像重建算法 ACID 

在数据先验性、数据保真性

和稀疏性三个子空间交集中找到最优解


Wang教授接着指出因 CT 扫描的原始数据具有更少的噪声和伪影,若能够对扫描的原始数据直接采用深度学习方法进行分析,理论上会获得更精准的结果。基于此思路,Wang 教授提出了Rawdiomics 的概念。有别于传统的由原始数据重建为医学影像、再对影像提取特征进行分析,Rawdiomics 旨在直接对原始扫描数据提取与最终诊断相关的特征进行分析,从而降低影像重建过程的误差以提升诊断的准确性。基于这样的理念,Wang教授团队与合作者的一项研究表明,利用深度学习直接从心脏血管 CT 影像扫描的原数据域 (sinogram domain) 提取得到的血管大小特征与血管的真实生理特性具有显著的相关性;其团队的另一项关于 Rawdiomics 的研究创新性地实现了从肺癌筛查的低剂量 CT 影像预测心血管疾病发生风险,相关成果发表在 Nature Communications 期刊。


Rawdiomics 旨在直接对原始扫描数据

进行分析以获取最终的诊断结果


在讲座的第二部分,Wang 教授介绍了多模态影像用于精准治疗方面的研究工作。医学影像模态主要包括核影像 (PET/SPECT)、计算机断层扫描影像 (CT) 和磁共振影像 (MRI)。现有的 PET/SPECT-CT 和 PET/SPECT-MRI 多模态影像设备已发展相对成熟,然而迄今还没有能用于临床的 CT-MRI 的多模态设备。CT 成像速度快但是软组织对比度差,MRI 软组织对比度高但是成像速度慢。CT-MRI 结合的多模态成像设备能够弥补单一模态影像各自的缺陷,从而在癌症评估、心血管疾病诊断等诸多临床上具有巨大的应用前景。在2015年其团队设计了一款 CT-MRI 多模态成像设备,并模拟了基于 CT 和 0.5T MRI 的多模态 CT-MRI 成像,论证了 CT-MRI 多模态成像的原理可行性。虽然 CT-MRI 多模态成像的预期临床优势明显,但是由于工程难度大、成本高收益低,至今尚未有成熟的 CT-MRI 多模态影像商业设备生产。为此,Wang 教授在新型 CT 和 MRI 成像技术上做了一些探索性的工作,比如其团队在2021年成功验证了无转动的多源 (29个 X 光源) 实时 CT 成像设备,该设备在活体小动物心脏动态成像上取得了优异的成像质量。


Wang教授团队于2015年设计的

CT-MRI一体化多模态成像设备


随后,Wang 教授介绍了其团队在全模态 (Omni-tomography) 方面的探索研究工作。Wang 教授在数十年前就曾发表过 Omni-tomography 的概念文章,旨在将 CT、MRI、PET/SPECT 等多种模态整合至一台设备。Wang 教授认为,随着各种影像模态的设备越来越小型化,我们可以开始考虑将各种移动式影像模态集成在一起,实现 Point-of-Care 成像。此外,通过介绍沈定刚教授团队先前一项利用对抗学习方法实现医学影像生成的研究,Wang 教授指出深度学习在多模态影像转换与生成领域具有重要应用前景。在本部分的最后,Wang 教授通过类比 iPhone 集合了 Message、Events、Weather 等多种功能,提出未来的医学影像设备应当能够汇总解剖、生理、病理、精神 (Anatomical, Physiological, Pathological, Psychological) 等多层面的信息。


AI赋能的无转动多源实时CT成像设备

在活体动物动态成像取得优异的成像质量


讲座的第三部分介绍了伦斯勒理工大学医学影像专业的研究生教学体系。Wang 教授首先强调了学院对培养学生创新性的重视,并认为创新性教育应当同时注重培养学生对问题理解的深度和掌握知识的广度。由于医学影像专业的研究生通常来自不同的专业学科背景,该专业的研究也具有较大的学科跨度。伦斯勒理工大学生物医学工程学院在研究生学习早期统一开设了 Linear System、Medical Imaging 和 Machine Learning 的课程以确保所有学生掌握医学影像研究所需的基础知识。其次,学院重视培养学生的动手实践能力,通过 Google Colab 在线编程平台让学生自己在编程实践中加深对数字影像的认识。另一方面,学院的教学内容还会涉及一些各领域最前沿的研究方向和进展以促进学生的创新性思维。在这一部分的最后,Wang 教授向大家介绍了学生居家隔离中的学院教学设置,并着重讲解为确保学生有效地学习专业知识而专门研发的在线教学与测验系统。


讲座结束后,参会师生与 Wang 教授就研究内容进行了充分的讨论互动。此次讲座通过微软 Teams 会议软件和哔哩哔哩网站同步直播的方式进行,使全球各地的听众能够方便地在线参加并学习。



第二期讲座完整录像请关注“上科大生医工学院”官方哔哩哔哩账号观看,观看地址:

https://www.bilibili.com/video/BV1e44y1b7KW/

欢迎大家参与9月25日上海科技大学生物医学工程在线学术讲座第三期!

讲座预告:

9月25日 | 上海科技大学生物医学工程在线学术讲座第三期