四川观察专访|我院庄吓海教授:解码可解释医学人工智能,破解医疗 AI “黑盒” 难题

发布者:张宇发布时间:2026-10-18浏览次数:10


内容转自:四川观察

Fudan University School of Data Science



2026年10月16日至17日,第十二届生物医学大数据·智能技术会议在成都召开。会议期间,四川观察记者专访了复旦大学大数据学院教授、博士生导师、副院长庄吓海。他长期从事医学影像人工智能研究。此次在会上做了“可解释医学人工智能”的主题报告。


问:理解人工智能为什么重要?什么是可解释人工智能?

答:人工智能现在常被认为会对未来产生革命性影响,但也有很多人把它和核能、核武器并列,认为它会给人类未来带来非常大的不确定性。所以它的安全性和可控性非常重要。而要实现它的安全、可控,就需要透明性,或者用一个比较专业的词语,就是“可解释性”。

我们首先把相关的思路和研究成果应用在医学临床诊断和治疗场景。一方面,医院对人工智能的安全性、可控性和可解释性的要求更高、需求更强;另一方面,医学场景相对封闭、可验证,我们也得到了很多医生的支持,他们有这个意愿。我们做出了一系列成果,也希望把医学场景下的可解释人工智能推广到整个人工智能领域。

我们在做的过程当中发现了一个非常有意思的现象:可解释的人工智能不仅没有比黑盒式的人工智能性能差,泛化能力反而更强,这就带来了两个好处,一是安全可靠,二是泛化能力更强。


问:这个其实是针对你们自己训练的一些神经网络,是不是?

答:对,这个是我们自己在研究过程中发现的。发现这个现象后,我们从数学上证明:可解释人工智能在泛化能力上理论上是更强的。随后我们在医学图像和医学人工智能产品上做了实验验证,确实也比现在已有的一些黑盒式人工智能更强。

那么我们现在还没有在其他场景、也就是整个大领域上进行验证,因为范围太广,我们也没有足够的资源去训练一个超级大的模型,所以暂时还没有办法验证。但是理论上我们已经证明了,在有限的场景下,我们也证明了。所以未来我们希望整个领域能够关注这个问题,也许他们有资源和能力去证明这个事情:人工智能、强人工智能或者说AGI,不一定要只靠大数据大算力,也可以依靠大算法,这个算法就是可解释的人工智能算法。


问:您刚刚提到的自己训练的神经网络,它大概是多大的一个参数量?

答:我们现在训练的目前大概都在亿级别,1亿或者几亿,最多也就到10亿或者几个10亿,就是几个b这样的一个级别。现在(市面上)都是在千亿甚至万亿这个级别,千亿可能比较多,我们没有办法训练这样的一个模型。


问:你们针对的任务最主要还是医学方面的视觉?

答:不仅是在视觉,现在视觉语言模型用得比较多。因为医学上有80%的数据是影像相关的,另外20%其实它包括量表,包括医院里面的化学检验标准等等,这些我们都可以把它转成文本,所以视觉语言模型足够覆盖所有的医院里面的数据流程。


问:然后最终还是想用于诊断?

答:诊断和治疗。诊断是最直接的,80%是诊断;也有优化治疗方案的相关任务。


问:像您现在已经训练出来的几b或者1b的模型,它的能力相比这些市面上sota的这些大语言模型如何?

答:如果你说的是很专业的话,现在市场上所有的大语言模型都不能直接用来诊断或治病。医院里面的诊断是很严肃严谨的一个事情。没有验证过的AI模型,万一它错了怎么办?错了负责方怎么界定? 我们做出来的专业医学模型,肯定比已有的大语言模型精度要高得多。这个不能对比。这完全两件事情。


问:我也关注到有医院其实已经接入了deepseek,用它的智能体,然后集成了包括从挂号,到输入病历,然后到会出一些给医生的这种类似于报告或者诊疗这种方向,您觉得这种其实是完全比不过专业的这种医疗模型的?

答:我的理解这里面不需要“智能”,更多的是信息化,这一步骤接近对不同渠道信息的收集和整理过程。这个系统告诉你应该怎么挂号,你去哪个科室,这些通常不需要多少智能。医生看的结果,它把它变成一个很漂亮的文本,给你打印出来,这个也不需要医学上非常专业的语言模型。

这些模型通常不会直接拿着医学影像或其他临床报告数据进行直接诊断。医学报告还是医生看片子,给出结论,然后语言模型可以帮忙写成报告。

信息化的过程肯定可以帮助智能化。例如像导航,假如只是定位和地图,那没有太多智能。但是如果它帮你实时优化怎么走的话,那可能需要智能。


问:之前也关注到有一些新闻,说有小孩得了病,他父亲用AI制作出了治病的方法,但父亲其实本身是一个小白,那您觉得这种它其实是随机性很大,就是撞大运了,可以这么说是不是?

答:以前我不舒服的话,我也会在百度上在谷歌上搜索,或者找一本医学书找我对应的症状。

人工智能也可以解数学题,它可以一步步往下走。但是这些题解得对不对?还是需要人去看,我们有很多工作也会让人工智能模型帮你给出一些建议,这些建议其实有的时候非常厉害,比我们人类想到的还要多——至少比我想到的还要多,或者还要有启发性,但最终决定选哪一个,对不对,还是要人去判断,要数学家去判断。

所以我们不说数学家没用。人工智能模型给你一个决策,有可能是对的,也有可能是有害的。但是你可能判断不了。


问:就是这个幻觉问题还是没有办法解决。

答:不是幻觉问题,而是人工智能它的处理速度比人要快很多,比如人工智能学习了全世界人的知识的1%,这比我们个人来说已经是超出了很多了,它能够检索出对我们来说非常新的想法。

但在缺少中间解释的情况下,我们难以验证它给出的答案的正确性。这么复杂的一套系统,你怎么知道它中间不会出错,给出有害的东西?你怎么知道它给你的答案是不是有隐藏?它可能在中间步骤里面有,但你不知道。

所以这就是为什么人工智能模型越大,越需要透明性,如果中间的过程没有一个步骤你能理解的话,这是很可怕的事情。

✦

•

✦


扫一扫关注我们

复旦大学

大数据学院