用孕周和切面做软对

WASP：用弱对齐时空对做胎儿脑磁共振到超声的跨模态学习

作者

快速导读：WASP用孕周和标准切面做熵正则最优传输，在没有同受试者配对时把冻结骨干上的胎儿磁共振特征对齐到超声空间；这是研究原型，不是临床产品，不得外推为临床可用。

胎儿脑分析里，磁共振软组织对比更好，但贵、慢、难规模采集；超声便宜、安全、常规筛查就能拿到，因而公开数据和预训练模型都远多于磁共振。标准跨模态做法要同一胎儿、同一天的配对扫描，可公开队列里几乎没有这种对。WASP（arXiv:2610.04601，佛罗伦萨大学 / 特伦托大学 / Meyer Children’s Hospital IRCCS）不声称受试者身份，只用常规记录的孕龄和ISUOG标准切面，把独立的超声与磁共振队列做成弱配对。这是研究原型，不是临床产品，不得外推为临床可用。代码地址https://github.com/miccunifi/WASP

框架分两相。Phase I用时间差、原型距离和切面硬不一致组成代价，经熵正则最优传输得到软计划P；Phase II用P的重心投影构造目标空间对应点，在冻结骨干上只训轻量对齐模块F（CCA、Ridge或MLP）。主设定是MRI→US：把稀缺磁共振抬进更大的超声表征。合并数据D含4056张图、1973名受试者（超声3369/1744，磁共振687/229），全部为神经典型。USFM上孕龄误差从21.9天降到17.4天、切面准确率从61.9%升到69.0%；多模态骨干只有更小、依赖骨干的精修。反向US→MRI接近饱和，WASP大体保住零样本。

英文题目：WASP: Weakly Aligned Spatiotemporal Pairs for Fetal Brain MRI–Ultrasound Learning

论文出处：arXiv 每日论文精选 · arXiv:2610.04601

原始论文：PDF / 论文页面

这篇论文解决什么问题？

图1左边把现有对齐画成一把锁：磁共振和超声编码器要对齐，前提是完美配对，而公开胎儿MRI–US同日同受试者数据并不存在。临床流程本身也很少产出这种对。右边WASP用蜜蜂标出弱对齐时空对：先在未配对队列上算传输计划，再在冻结源编码器特征上训F。

相关工作里，一类用无配对图像翻译造伪对，噪声模态上容易幻觉；一类在特征空间对齐均值协方差或对抗对齐潜变量，把两域当成可交换点云，丢掉样本侧信息。最优传输比较完整分布，熵正则后可用Sinkhorn规模化，但若不把孕龄和切面写进代价，匹配仍无发育坐标。胎儿登记还受运动和快速生长干扰，成人管道难直接搬。时空图谱说明给定孕周和标准切面存在群体平均解剖，却几乎只被当成已配对扫描的配准靶，而不是独立队列之间的弱对应。

因此问题变成：没有同日配对时，怎样用已经写在病历里的元数据，给冻结的超声生态接上少量胎儿磁共振，并且明确这只是表示学习实验，不是诊断工具。

核心创新

  • 把常规孕龄和标准切面写成熵正则最优传输代价，在独立队列上做弱配对。
  • 冻结骨干只训轻量对齐，让超声单模态模型读磁共振，并精修已见过两模态的骨干。
  • 把对齐后的教师表示经同模态回归蒸馏给学生，仍不微调骨干。

方法概览

每个样本是冻结嵌入、孕龄（天）和切面。代价由孕龄差、按孕龄窗与切面分箱的目标原型距离、切面硬不一致组成，熵正则最优传输得到软计划，重心投影后在冻结骨干上学习CCA/Ridge/MLP对齐。预处理：磁共振从SRR体积抽轴对齐切片，超声脑剥离并校正椭圆轴。受试者级划分配对/训练/测试。

  • 每个样本是冻结骨干嵌入x、孕龄g（天）和切面p∈{TV,TT,TC}。源与目标角色可互换。核心假设来自附录D与图3：同一孕龄、同一标准切面上，神经典型胎儿脑在尺度、形态和空间组织上跨受试者一致；改孕龄或改切面都会打破这条时空规律。配对因此是弱的：从不声称同一胎儿，只声称同一发育阶段的同一结构。
  • Phase I构造Ns×Nt代价。Dtime是孕龄绝对差；Dspace是切面不一致指示；Dproto是按目标域孕龄窗和切面分箱后的原型欧氏距离，原型是该箱均值嵌入，用来压受试者噪声并锚定该阶段的典型解剖。Dtime与Dproto先标准化再与Dspace相加，并减全局最小以保证非负。均匀边际下求熵正则传输计划，让每个源把匹配预算分给若干邻近孕天、同一切面的候选，而不是刚性一对一。
  • 得到P后做行归一化重心投影，源嵌入保持不变，目标对应点落在目标集合凸包内，避免按原始行和1/Ns缩放而挤向原点。Phase II在这对弱配对上学习F：源→目标。CORAL作无配对基线；CCA、Ridge、MLP在弱对上拟合。骨干始终冻结。
  • 预处理见图2。磁共振由超分辨率重建体积沿TV/TT/TC取轴对齐切片；超声扇形图要先脑剥离再把脑椭圆长短轴对齐到图像坐标，再重采样到各模态各向同性分辨率。超声孕龄若缺失，用Hadlock公式由全身生物测量估计。划分按受试者切成配对集、训练集和测试集，训练上做3折受试者交叉验证。

逐图理解论文

用孕周和切面做软对

用孕周和切面做软对
Figure 1: Motivation and overview of WASP. Left: Existing MRI–US alignment requires paired fetal scans from the same subject, but such data are not publicly available at scale. Right: WASP avoids exact pairing through two phases: Phase I builds an entropic Optimal Transport plan P from unpaired cohorts using commonly available metadata such as Gestational Age and diagnostic plane. Phase II uses P to project the target encoder space and train a lightweight alignment module F on the frozen source encoder’s features.

图1是动机与方法总览，宜作特色图。左栏Existing approaches：绿锁磁共振编码器与蓝锁超声编码器指向Aligning US to MRI，绿勾写更好性能，两条红叉写需要完美配对、公开没有配对数据。右栏WASP分Phase I弱配对与Phase II跨模态对齐。Phase I把源磁共振与目标超声送进上锁的目标编码器，用黄Dspace（TC/TT/TV）、粉Dproto、绿Dtime（Week 1到Week N）组成C，再经紫色代价矩阵和Sinkhorn–Knopp得到OT计划P。Phase II源编码器解锁，F（Ridge/MLP等）对齐到带P的目标空间。读图时抓住“不要完美对、只要时空软对”。

冻结骨干只训对齐

冻结骨干只训对齐
Figure 2: US and MRI data preprocessing. While in MRI we can directly get axis-aligned samples, for US images we also need to fix the orientation of the major and minor axes of the fetal brain.

图2是预处理。上支Original MRI经Plane sampling从体积抽出TV/TT/TC，得到轴对齐的Sampled MRI。下支Original US先Brain Stripping去掉母体组织，Cleaned US再Axis alignment把脑椭圆长短轴对准图像坐标，虚线十字标在Sampled US上。裁切左侧残留正文，读图以右侧流程图为准。它说明两模态进WASP前必须先有可比的二维脑视图，超声比磁共振多一步定向。

Figure 3: Spatiotemporal Evolution of Fetal Brain Anatomy in MRI and US

Figure 3: Spatiotemporal Evolution of Fetal Brain Anatomy in MRI and US
Figure 3: Spatiotemporal Evolution of Fetal Brain Anatomy in MRI and US. Rows represent the three standard diagnostic planes (TV, TT, TC). Columns represent different Gestational Ages.

图3在附录里展示时空规律。列是GA 24w、28w、32w、36w；三块行是TV、TT、TC，每块上行偏磁共振（部分带组织伪彩），下行是斑点状超声。随孕周脑回更复杂，超声后期也更有结构。裁切左侧残留附录文字，读图以右栅格为准。它给弱配对提供解剖直觉：同切面同孕周跨受试者可对照，但不能当成个体诊断图，更不能外推到异常脑或临床产品。

实验如何设计？

  • 主方向MRI→US（表1）：源是磁共振配对图像480张量级，目标超声961张，符合“用更大超声生态承接稀缺磁共振”。反向US→MRI（表2）加入MRI-CORE。下游在冻结或已对齐嵌入上拟合孕龄Ridge回归（MAE，天，越低越好）和切面线性SVM（准确率，越高越好）。超参按相对零样本的折中位评分选择。
  • 配对对照：贪心时空匹配在切面内按孕龄差一对多；匈牙利时空匹配在切面内强制一对一。对齐对照：CORAL、CCA、Ridge、MLP。MLP三随机种子报均值±标准差，其余确定。骨干：超声单模态USFM、Echocare；磁共振单模态MRI-CORE；多模态SAM-Med2d、BioMedParse。
  • 蒸馏（表3）：教师先WASP+MLP改进，再用同模态Ridge或MLP把学生原始嵌入映射到教师空间，学生骨干仍不微调。消融（表4、表5）拆代价三项，以及Random、Cosine、OT-Cosine等无元数据配对。
  • 全部受试者为神经典型；图像是2D标准切面而非完整三维体积。作者写明没有公开配对胎儿US–MRI，因此无法与配对监督方法直接对比。

关键结果与论文证据

  • 解锁未见模态是最大增益。USFM零样本孕龄21.9天、切面61.9%；WASP+Ridge到17.4天、69.0%。Echocare到9.1天、90.5%。贪心与匈牙利时常更差或不稳，CORAL在多根骨干上明显退化（表1，第8页）。
  • 多模态骨干已见过两模态，WASP做精修而非解锁。WASP+MLP把BioMedParse孕龄从6.5降到6.0±0.6天；SAM-Med2d切面到89.7±2.7%（零样本83.3%），匈牙利+MLP切面到90.5%但孕龄变差。带MLP时只有WASP能在每根多模态骨干上改进一项并让另一项贴近零样本（表1）。
  • 反向US→MRI零样本切面已≥92.8%，头寸很小。WASP+MLP相对零样本孕龄损失不超过1.4天、切面不超过0.3点，并在五根骨干中的四根上提高切面，例如SAM-Med2d 97.3%对96.2%（表2，第8页）。CCA和多数Ridge在此方向会伤性能。
  • 蒸馏把教师增益传给学生。MRI测试上，USFM跟BioMedParse教师：原始映射孕龄11.9天、切面69.0%，+WASP到11.1±0.2天、71.4%。Echocare跟BioMedParse到8.6±0.4天、90.5±2.4%。四对里孕龄全升，切面三对升（表3，第9页）。
  • 三项代价必须一起用。只要Dtime会跨切面乱配、切面分类崩；只要Dspace则孕龄误差飙。无元数据的Random、Cosine、OT-Cosine在多数设定低于零样本，说明增益主要来自时空代价而不是熵松弛本身（表4、表5，第9–10页）。

阅读时需要注意

  • 没有公开配对胎儿超声–磁共振，无法与配对监督方法直接比较；作者提出将来可用匹配图谱对作代理。
  • 只用单张磁共振切片，可能浪费三维邻域；超声孕龄由Hadlock从生物测量估计，既给回归靶带来噪声，也可能与图像解剖共享信息。
  • 只评神经典型胎儿，解剖异常时弱配对是否仍成立是开放问题。这是预印本研究原型，不是临床产品，不得外推为临床可用，也不能当作产前筛查或诊断依据。

关联工作

  • WASP把临床元数据写成传输代价，而不是把两域当成无结构点云，也避免用生成模型造伪对。
  • USFM、Echocare代表超声单模态生态；SAM-Med2d、BioMedParse代表已混装多模态、但没有胎儿专用对齐的基础模型；MRI-CORE是磁共振侧对照。
  • 结论认为常规采集的元数据可以在没有受试者配对时充当跨模态监督。该原则或许超出胎儿成像，但本文证据只覆盖神经典型二维切面。代码https://github.com/miccunifi/WASP

发表评论