结论与意义

跨示踪剂自监督预训练如何让全身PET/CT病灶分割更抗域偏移？

作者

快速导读：提出MUST-PET，一个跨示踪剂的多模态自监督预训练框架，利用大规模多机构泛癌PET/CT数据提升全身病灶分割的标签效率和跨域泛化能力。

全身PET/CT病灶分割在肿瘤诊疗中至关重要，但高质量标注稀缺，且模型容易受扫描仪、协议、机构和患者群体差异的影响。MUST-PET提出一个跨示踪剂的多模态自监督预训练框架，先在5910例多机构泛癌扫描上学习解剖-功能表征，再用少量标注微调做病灶分割。

文章的核心论点是：跨示踪剂预训练带来的表征泛化能力，比单纯扩大单示踪剂数据更能缓解域偏移。作者通过重建质量、标签效率、分割性能和定性可视化四个层面验证了这一主张。

英文题目：MUST-PET: Multimodal Self-Supervised Learning Across Tracers for Whole-Body PET/CT-Based Lesion Segmentation

论文出处：arXiv 每日论文精选 · arXiv:2608.19666

原始论文：PDF / 论文页面

这篇论文解决什么问题？

全身PET/CT病灶分割的标注成本极高，需要专家逐层勾画病灶边界。自监督学习（SSL）通过预训练缓解标签稀缺，但现有PET/CT SSL方法几乎都局限于单一示踪剂，如FDG-only基础模型或PSMA单示踪剂方法。

域偏移是另一个核心挑战：不同机构的扫描仪、重建协议、患者群体差异会导致模型在跨机构测试时性能骤降。单示踪剂预训练模型在遇到另一种示踪剂时，表征可能无法迁移。

现有方法如C²MAOT和SegAnyPET虽然利用了多模态或大规模数据，但前者限于FDG单示踪剂，后者依赖提示且非全自动。Yazdani等人的工作使用SwinUNETR做PSMA单示踪剂SSL，同样未评估跨示踪剂泛化。

因此，研究缺口在于：是否有一种预训练策略，能让模型同时从FDG和PSMA两种示踪剂的数据中学习共享的解剖-功能表征，从而在跨机构和跨示踪剂的下游分割任务中表现更稳健。

核心创新

  • 首个跨示踪剂（FDG+PSMA）的多模态上下文感知自监督预训练框架，用于全身PET/CT病灶分割
  • 随机模态掩码策略：每批随机掩码PET或CT，另一模态保持可见，促进跨模态解剖-功能表征学习
  • 在5910例多机构泛癌扫描（AutoPET-III、DHMC、SPADE、VI-MED）上预训练，规模远超以往单示踪剂方法

方法概览

MUST-PET采用SwinUNETR，在5910例多示踪剂PET/CT扫描上进行多模态上下文感知掩码重建预训练：每批随机选择PET或CT一种模态，对50%的块做零均值掩码，另一模态保持完全可见，解码器重建被掩码体素；随后用AutoPET-III标注数据以三种策略（Full FT、Enc.+Dec. FT、Dec. FT）微调做病灶分割。

  • MUST-PET采用SwinUNETR作为骨干网络，这是一种基于Swin Transformer的3D医学图像分割架构，适合处理高分辨率体数据。
  • 预训练任务是多模态上下文感知掩码重建：每个训练批次随机选择PET或CT中的一种模态进行掩码，对50%的块做零均值掩码，另一模态保持完全可见，解码器重建被掩码体素。
  • 关键设计在于随机模态掩码策略：模型无法预知哪一模态会被掩码，因此必须学习跨模态的互补表征——当PET被掩码时依赖CT的解剖结构，当CT被掩码时依赖PET的功能信息。
  • 预训练数据来自四个数据集：AutoPET-III、DHMC、SPADE和VI-MED，共5910例扫描，涵盖FDG和PSMA两种示踪剂以及多种癌症类型（肺、淋巴瘤、黑色素瘤、前列腺等）。
  • 微调阶段使用AutoPET-III标注数据，采用三种策略：Full FT（微调全部参数）、Enc.+Dec. FT（微调编码器和解码器）、Dec. FT（仅微调解码器），以评估不同微调深度对性能的影响。
  • 与FDG-only基线模型[6]的对比是核心实验设计之一，但作者明确指出该基线在AutoPET-III上的训练划分未知，部分测试扫描可能在其训练集中，因此FDG重建对比存在偏差风险。

逐图理解论文

失败案例与直觉

失败案例与直觉
Figure 2: Qualitative comparison of lesion segmentation by the scratch and MUST-PET models, both trained on 100% of the data. Green contours indicate GT, while red and blue contours show scratch and fine-tuned predictions, respectively. Yellow arrows indicate false positives from the scratch model, and pink arrows highlight improved lesion delineation with MUST-PET.

该图展示scratch与MUST-PET的定性分割对比。黄色箭头指向scratch模型的假阳性，MUST-PET消除了这些误检；粉色箭头显示MUST-PET对病灶边界的勾勒更贴合绿色真值轮廓，说明预训练改善了病灶边界精度。

研究缺口

研究缺口
Table 1: Summary of datasets used. The FDG/PSMA row marks tracer availability (✓present, ✗absent). Lu=Lung, Ly=Lymphoma, Me=Melanoma, Pr=Prostate, Neg=Negative.

现有PET/CT自监督学习方法，无论是C²MAOT还是SegAnyPET，都局限于单一示踪剂或依赖提示，从未真正评估跨示踪剂和跨机构的泛化能力。这就是研究缺口：缺少一个能在FDG和PSMA两种示踪剂数据上同时学习共享表征的预训练框架。

验证与证据

验证与证据
Table 2: Reconstruction MAE of the FDG-only [6] and our proposed MUST-PET model. Lower is better.

该表展示FDG-only基线与MUST-PET在三个测试集上的重建MAE。重点观察DHMC和PSMA列：MUST-PET均更低，说明跨示踪剂预训练在外部数据和PSMA数据上重建更准；FDG列MUST-PET略高，需结合数据划分偏差理解。

结论与意义

结论与意义
Figure 1: Label-Efficient Fine-Tuning Performance. Pretrained models provide substantial gains in low-label set- tings. Stronger generalisation is achieved in Deep PSMA dataset through the pretraining.

该图展示不同标注比例下的Dice曲线。重点观察低标签区间（1%-10%）：预训练模型的增益最明显，说明预训练表征在标注稀缺时价值最大；Deep-PSMA曲线上预训练模型优势更突出，体现跨机构泛化。

实验如何设计？

  • 重建质量评估：在AutoPET-III（FDG n=199，PSMA n=122）和DHMC（n=100）上比较FDG-only基线与MUST-PET的MAE，验证跨示踪剂预训练是否损害或提升重建能力。
  • 标签效率实验：用1%、5%、10%、20%、50%、100%的标注数据微调，在AutoPET-III和Deep-PSMA测试集上评估Dice，检验预训练在低标签场景下的增益。
  • 病灶分割性能：与scratch SwinUNETR和nnUNet对比，评估Dice、FPVol、FNVol、病灶敏感性和PPV，全面衡量分割质量和假阳性/假阴性控制。
  • 定性评估：对比scratch与MUST-PET模型的病灶分割可视化结果，观察假阳性减少和病灶边界改善。

关键结果与论文证据

  • DHMC重建MAE：FDG-only为0.2970，MUST-PET为0.2860，跨示踪剂预训练在外部机构数据上重建更优（第4页）。
  • AutoPET-III PSMA重建MAE：FDG-only为0.2982，MUST-PET为0.2908，说明跨示踪剂预训练对PSMA数据也有增益（第4页）。
  • AutoPET-III FDG重建MAE：FDG-only为0.2431，MUST-PET为0.2709，MUST-PET在FDG重建上略逊，作者归因于数据划分偏差（第4页）。
  • AutoPET-III分割Dice：scratch SwinUNETR为0.526，MUST-PET Full FT为0.576，预训练带来显著提升（第4页）。
  • Deep-PSMA分割Dice：scratch SwinUNETR为0.547，MUST-PET Decoder FT为0.601，跨机构泛化能力更强（第4页）。
  • AutoPET-III FPVol：scratch为27.147 mL，MUST-PET Full FT为14.112 mL，假阳性体积几乎减半（第4页）。
  • Deep-PSMA FNVol：scratch为9.785 mL，MUST-PET Decoder FT为5.684 mL，假阴性体积大幅降低（第4页）。
  • Deep-PSMA病灶敏感性：scratch为0.711，MUST-PET Decoder FT为0.801，说明预训练模型能检出更多真实病灶（第4页）。

阅读时需要注意

  • 未与FDG-only模型[6]进行直接病灶分割对比，因为该基线的训练数据与评估集存在重叠，直接对比不公平。
  • FDG重建MAE上MUST-PET劣于FDG-only模型，可能受数据划分偏差影响，这一结果需要谨慎解读。
  • 下游任务分析有限，仅评估了病灶分割，未探索其他潜在临床应用如病灶检测或预后预测。

关联工作

  • Yazdani等人[1]使用SwinUNETR做PSMA-PET/CT病灶分割的SSL，但限于单示踪剂，MUST-PET将其扩展到跨示踪剂场景。
  • C²MAOT[3]提出跨模态互补掩码自编码器用于FDG PET/CT癌症分割，MUST-PET的随机模态掩码策略可视为其跨示踪剂泛化。
  • SegAnyPET[4]基于5731个PET体素构建提示式通用分割模型，但依赖提示且非全自动，MUST-PET则实现全自动分割。
  • Rokuss等人[13]提出nnUNet-based多示踪剂多中心病灶分割方法，MUST-PET的微调策略参考了其多中心训练思路。

发表评论