ScaFE:不直接看图的LLM,如何用临床知识程序超越视觉模型?
从临床照片区分瘢痕疙瘩和增生性瘢痕,面临专家标注稀缺和跨医院采集差异大的双重挑战。ScaFE提出了一种新思路:不让大语言模型直接看图诊断,而是让它检索临床证据,生成可本地执行的特征测量程序。这些程序在本地处理图像,仅将聚合验证统计量反馈给LLM进行迭代修复,最终选出的程序用随机森林分类。在三个医院的留一站点外评估中,ScaFE以10%的数据量领先最强基线BiomedCLIP达11.8个百分点。该方法不依赖海量标注,保护数据隐私,且每个特征都有可溯源的证据记录。但研究为回顾性、二分类设计,需前瞻性临床验证。