AnomExpert：无需平面标注的产前超声异常诊断原型选择框架

以下译文用于快速探索和学习，技术术语按需要保留英文；正式引用和精确表述请以原论文为准。

第 1 页

AnomExpert：识别并选择用于产前超声 异常诊断的解剖平面

Jian Wang1,2,3⋆, Yang Yang4⋆, Ziheng Pan5, Xiliang Zhu5, Yuhan Zhang4, Yanfeng Zhou1,3, 和 Dong Ni1,3,5(B)

1 深圳大学人工智能学院医学超声图像计算（MUSIC）实验室，中国深圳 518060 2 深圳大学计算机科学与软件工程学院，中国深圳 518060 3 深圳大学大数据系统计算技术国家工程实验室，中国深圳 518060 4 深圳大学医学院生物医学工程学院，中国深圳 518037 5 南京医科大学生物医学工程与信息学院，中国南京 211166 nidong@szu.edu.cn 15

摘要。致死性先天性异常需要准确的产前诊断以进行适当的临床决策。产前超声（US）检查涉及多个解剖平面，诊断依赖于识别解剖平面并为每种异常选择具有诊断相关性的平面。现有的自动化方法要么依赖于平面级标注，要么在不显式建模这些诊断能力的情况下聚合异构图像。我们提出了 AnomExpert，这是一种仅使用病例级监督的、用于产前超声异常诊断的原型驱动框架。AnomExpert 引入了可学习的平面原型，将无序图像组织成对应于解剖平面的潜在表示，而无需平面标注。一种疾病感知稀疏选择机制进一步为每种异常选择具有诊断相关性的平面。在包含 3,654 个病例的多中心数据集上的实验表明，AnomExpert 始终优于九种具有代表性的多实例学习（MIL）方法。使用 ViT-small 骨干网络，它在保持参数效率的同时实现了 86.9% 的准确率和 84.2% 的 F1 分数。这些发现表明，对解剖平面识别和疾病特异性平面选择进行建模可以提高弱监督多平面产前超声异常分类的性能。 代码可在 https://github.com/TIanCat/AnomExpert 获取。arXiv:2607.13409v1 关键词：产前超声 · 分类 · 原型学习。

⋆Jian Wang 和 Yang Yang 对本工作有同等贡献。

第 2 页

2 J. Wang 等

1 引言

致死性先天性异常（LLCAs）是严重的胎儿状况，与高死亡率相关 [4]。不同的异常需要不同的管理策略。例如，严重的开放性脊柱裂可能需要产前胎儿修复 [1]，复杂的先天性心脏病通常在出生后需要分期手术 [15]，而无脑畸形通常采用姑息治疗或终止妊娠 [5]。因此，准确区分产前异常类型对于适当的临床决策至关重要。超声（US）是筛查和诊断的主要手段 [16]。在临床实践中，典型的产前超声检查涉及从多个解剖平面获取图像。准确的诊断需要识别每张图像所代表的解剖平面，并确定哪些平面为特定异常提供了诊断相关的证据（图 1）。然而，这一诊断过程耗时且认知负荷大，因为不同的异常依赖于不同的解剖平面子集。此外，超声解释本质上具有主观性，导致诊断一致性存在差异 [17]。这些挑战推动了多平面产前诊断自动化方法的发展。

开发能够捕捉这些诊断能力的自动化系统仍然具有挑战性。现有方法通常遵循分阶段流水线，例如先进行标准平面检测，然后进行异常分类 [8,2]。虽然在精心策划的条件下这些方法有效，但它们需要细粒度的图像级标注，这既昂贵又难以获取。此外，它们假设标准解剖平面可以被可靠地定位，但由于解剖变异和异常表现，这一假设在临床实践中往往不成立 [6,9]。多实例学习（MIL）提供了一种自然的替代方案，它使用病例级监督从无序图像集中学习 [3]。然而，大多数 MIL 方法通过注意力或排序机制直接聚合图像特征，而没有显式建模解剖平面身份或疾病特定的平面选择 [10,11,18,13,12,20,19,14]。结果，异构的解剖平面在统一表示中混合，限制了模型捕捉平面级语义和疾病相关性的能力。

图 1. 产前超声异常诊断

第 3 页

AnomExpert 3

受产前超声多平面诊断所需基本能力的启发，我们提出了 AnomExpert，这是一种用于产前超声异常诊断的原型驱动框架，采用病例级监督。与复制分阶段流水线不同，AnomExpert 显式建模了两个关键能力：解剖平面识别和疾病特异性平面选择。具体而言，可学习的平面原型将无序图像组织成对应于解剖平面的潜在表示，而无需平面标注。随后，疾病感知稀疏选择机制为每种异常自适应地识别具有诊断相关性的平面。这种设计使模型能够在病例级监督下区分解剖平面，并选择性地整合与疾病相关的平面进行诊断。我们的贡献有三方面：(1) 一种用于弱监督解剖平面识别的原型驱动框架，无需平面标注；(2) 一种用于自适应诊断平面选择的疾病感知稀疏聚合机制；(3) 大量实验证明，在产前超声异常分类方面，该方法相较于代表性的多实例学习（MIL）方法具有一致的性能提升。

2 方法论

如图 2 所示，AnomExpert 建模了产前超声诊断的两个关键能力：解剖平面识别和疾病特异性平面选择。该框架首先使用可学习的平面原型将无序图像组织成平面级表示。这些平面表示作为每个病例内的候选解剖平面。随后，疾病感知选择机制识别出用于异常预测的诊断相关平面。整个框架仅使用病例级标签进行端到端训练。

Fig. 2. 提出的 AnomExpert 概览

第 4 页

4 J. Wang 等

2.1 平面原型学习

多平面超声诊断中的一个关键挑战是在没有显式平面标注的情况下识别解剖平面。为了在病例级监督下近似解剖平面识别，我们引入了 K 个可学习的平面原型。每个原型旨在捕捉一种独特的解剖平面模式。在训练过程中，图像特征被软性地分配给这些原型，促使具有相似解剖内容的图像聚集在同一个原型周围。

图像嵌入：给定输入图像 $x_i$，我们使用骨干网络 $\phi(\cdot)$ 后接投影头 $g(\cdot)$ 提取特征表示：

$$ f_i = g(\phi(x_i)) \in \mathbb{R}^{256}. \quad (1) $$

原型分配：我们维护一组可学习的平面原型 $P = \{p_k \in \mathbb{R}^{256}\}_{k=1}^K$。对于包含 N 张图像（跨多个病例求和）的小批量数据，我们计算所有图像特征与原型之间的余弦相似度，以形成得分矩阵 $S \in \mathbb{R}^{N \times K}$。使用 Sinkhorn 平衡归一化 [7] 获得软性分配：

$$ A = \text{Sinkhorn}(\exp(S/\epsilon_s)) \in \mathbb{R}^{N \times K}, \quad (2) $$

其中 $\epsilon_s = 0.05$ 控制分配的锐度。Sinkhorn 平衡鼓励多样化的原型利用，并有助于防止原型坍塌。

原型损失：为了鼓励一致的图像到原型的分配，我们优化一个原型分配损失：

$$ L_{\text{proto}} = -\frac{1}{N} \sum_{i=1}^N \sum_{k=1}^K A_{i,k} \log \text{softmax}(S_{i,:}/\tau)_k, \quad (3) $$

其中 $\tau$ 是可学习的温度参数。通过这一学习过程，具有相似解剖特征的图像被分组到同一个原型下，从而能够在没有平面标签的情况下实现解剖平面识别。

平面表示：给定包含 L 张图像的病例，我们使用相应的分配权重将图像特征聚合为平面表示：

$$ v_k = \frac{\sum_{i=1}^L A_{i,k} f_i}{\sum_{i=1}^L A_{i,k} + \delta}, \quad k = 1, \dots, K, \quad (4) $$

其中 $\delta$ 是一个用于数值稳定性的常数。这为当前病例生成了一个结构化的平面表示集合 $V = \{v_k \in \mathbb{R}^{256}\}_{k=1}^K$，作为下游疾病特异性平面选择的基础。

2.2 疾病感知平面选择

与从所有图像聚合特征的常规多实例学习 (MIL) 方法不同，我们的方法在平面级别执行选择。为此，我们引入了可学习的疾病查询，以估计每个解剖平面与每种疾病的相关性。

第 5 页

AnomExpert 5

疾病查询：我们定义一组可学习的疾病查询：

Q = {qc ∈R256}Cc=1, (5)

其中 C 是类别的数量。 相关性估计：给定在第 2.1 节中获得的结构化平面表示 V = {vk ∈R256}Kk=1，我们计算每个疾病查询与所有平面表示之间的余弦相似度得分：

uc,k = sim(qc, vk). (6)

为了捕捉疾病在解剖平面上的特定偏好，我们引入了一个可学习的偏置矩阵 B ∈RC×K，该矩阵对疾病与平面之间的先验关联进行建模。最终的相关性得分计算如下：

˜uc,k = uc,k + Bc,k. (7)

稀疏平面选择与聚合：对于每种疾病 c，我们保留最相关的 top-k 个平面：

Ωc = TopK(˜uc,:), (8)

其中 Ωc 表示选定的平面索引。然后，我们使用归一化权重聚合选定的平面，以计算疾病特定的表示：

zc = X αc,kvk, αc,Ωc = softmax(˜uc,Ωc/T), (9) k∈Ωc

其中 T = 0.07 是一个控制选择锐度的温度常数。该机制确保异常预测基于诊断相关的解剖平面子集，而不是所有可用图像。 病例级预测：将疾病特定的表示拼接起来并输入分类器，以获得最终预测：

ˆy = Classifier([z1, . . . , zC]). (10)

训练目标：使用病例级类别标签 y 对模型进行端到端训练。我们使用交叉熵损失进行异常分类：

Lcls = CE(ˆy, y), (11)

并联合优化公式 3 中定义的原型分配损失：

L = Lcls + λLproto, (12)

其中 λ 平衡平面原型学习与疾病分类。

第 6 页

6 J. Wang 等

表 1. 不同方法在测试集上的性能比较（五次运行的均值 ± 标准差）。Param. 表示模型参数量（M），所有指标均以百分比（%）表示。最佳和次佳结果分别以蓝色和下划线标出。

方法 参数量 准确率 精确率 召回率 F1分数 AUC AttentionMIL 11.31 81.7±1.08 80.0±1.79 78.2±1.24 78.4±1.39 96.4±0.47 MeanNetMIL 23.53 82.2±0.80 80.9±1.00 79.3±1.50 79.3±1.40 96.7±0.30 MaxNetMIL 21.29 85.5±1.06 84.0±1.52 81.5±1.47 82.1±1.59 96.7±0.32 TransMIL 30.91 83.5±1.30 82.2±2.00 81.0±2.01 81.2±2.00 96.9±0.50 DSMIL 23.97 78.1±2.54 77.2±2.40 75.8±2.84 75.0±2.82 95.8±0.60 AdditiveMIL 11.97 77.9±0.91 74.7±1.52 73.7±1.31 74.0±1.40 95.8±0.34 Mamba2MIL 39.43 82.3±4.49 82.1±3.78 81.8±3.99 81.2±4.05 97.1±0.97 SAMIL 27.72 84.1±0.52 82.2±1.49 80.0±0.83 80.3±1.05 96.4±0.41 AAcls-MIL 19.07 83.6±1.18 82.3±1.28 79.8±1.03 80.3±0.86 97.3±0.31 Anom.(ViT-t) 5.60 83.8±0.96 81.8±0.93 80.4±1.39 80.6±1.24 97.3±0.23 Anom.(ViT-s) 21.80 86.9±0.72 84.9±1.12 83.9±0.66 84.2±0.69 97.9±0.20

3 实验与结果

3.1 数据集与实验设置

数据集 在本研究中，我们在机构审查委员会的批准下，从 24 个医疗中心收集了一个多中心产前超声数据集；由于采用回顾性研究设计，知情同意书被豁免。该数据集包含 3,654 例病例，共计 61,460 张图像，平均每例 17 张图像（范围：5–94，标准差=13）。每例病例均被分配一个主要诊断。所有诊断均由经验丰富的胎儿超声专家根据既定的临床标准确认。该数据集包括八种类型的局部先天性心脏异常（LLCAs）和正常对照：单动脉干（SA，n=399）、单心室（SV，n=341）、无脑回全前脑畸形（AH，n=478）、无脑畸形（n=643）、脑膨出（n=180）、双侧肾缺如（BRA，n=335）、开放性脊柱裂（OSB，n=348）、致死性软骨发育不全（TD，n=410）以及正常（n=520）。孕周范围为 10 至 39 周（均值 ± 标准差：20.7 ± 12.0 周）。数据集在病例级别上被随机划分为训练集（n=2,558）、验证集（n=366）和测试集（n=730），以防止数据泄露。划分过程进行了分层以保持类别分布，且各子集的孕周分布具有可比性。

实现细节 我们使用两个在 ImageNet 上预训练的骨干网络架构 ViT-tiny（ViT-t）和 ViT-small（ViT-s）来评估我们的方法，以评估不同模型容量下的鲁棒性。平面原型的数量设置为 K = 30，疾病感知稀疏选择为每个类别保留前 k = 4 个平面。原型分配损失的权重固定为 λ = 0.1。模型使用 Adam 优化器训练 60 个 epoch（初始学习率 1 × 10−4，权重衰减 1 × 10−5），并使用验证性能最佳的检查点进行测试。我们使用余弦退火进行学习率衰减，批量大小为 8（病例级别）。输入图像被随机裁剪并

第 7 页

AnomExpert 7

图 3. 定性可视化。(a) 被分配到选定平面原型的测试图像。(b) 显示疾病-平面关联的类别相关性热力图。

调整大小至 224×224。额外的数据增强包括水平翻转、颜色抖动、仿射变换和随机灰度转换。

评估协议 我们将我们的方法与九种具有代表性的多实例学习 (MIL) 方法进行了比较，包括 AttentionMIL [10]、MeanNet-MIL [11]、MaxNetMIL [11]、TransMIL [18]、DSMIL [13]、AdditiveMIL [12]、Mamba2MIL [20]、SAMIL [19] 和 AAcls-MIL [14]。所有竞争方法均使用其官方开源代码实现，并在相同的数据划分下进行评估。性能评估使用准确率、宏平均精确率、召回率、F1分数和 ROC 曲线下面积 (AUC)。每种方法使用不同的随机种子进行五次独立运行训练和评估。我们报告各次运行的均值和标准差。

3.2 结果

定量结果 表 1 展示了 AnomExpert 与九种代表性 MIL 方法在测试集上的定量比较。总体而言，

第 8 页

8 J. Wang 等

表 2. AnomExpert 在测试集上的组件消融实验结果（五次运行的均值 ± 标准差）。所有指标均以百分比 (%) 报告。

变体 准确率 F1分数 完整 AnomExpert 86.9±0.72 84.2±0.69 平面原型学习 无原型损失 (λ = 0) 84.8±1.18 82.7±1.43 Softmax 分配 (无 Sinkhorn 平衡) 83.4±0.72 80.8±0.78 疾病感知平面选择 密集聚合 (无 top-k) 86.2±1.81 83.7±1.81 无疾病偏置 (B = 0) 85.1±1.22 82.4±1.46

AnomExpert 的 ViT-small 变体在所有评估指标上均取得了最佳性能。具体而言，其准确率为 86.9%，精确率为 84.9%，召回率为 83.9%，F1分数为 84.2%，AUC 为 97.9%。与表现最好的基线模型 MaxNetMIL 相比，AnomExpert 的准确率提高了 1.4 个百分点（86.9% vs. 85.5%），F1分数提高了 2.1 个百分点（84.2% vs. 82.1%）。此外，AnomExpert 展现出强大的参数效率。使用 ViT-tiny 骨干网络，它仅用 560 万参数就取得了具有竞争力的性能（准确率为 83.8%，AUC 为 97.3%），少于所有基线模型。这些结果证实了 AnomExpert 在提升性能和参数效率方面优于现有的多实例学习 (MIL) 方法。

定性结果 图 3(a) 展示了分配给选定平面原型的测试图像。归入同一原型下的图像表现出一致的解剖模式，表明学习到的原型近似于解剖平面身份，而无需平面标注。图 3(b) 展示了按类别划分的平面选择热力图。该热力图反映了所有测试案例中平面的平均选择概率。某些平面被更频繁地选中，表明它们对应于具有诊断信息的解剖平面。总之，这些可视化结果证明 AnomExpert 将图像组织为平面表示，并执行选择性聚合以进行预测。

消融研究 表 2 显示，移除原型学习 (λ = 0) 使 F1分数降低了 1.5 分，而用 Softmax 替换 Sinkhorn 则导致

图 4. 关键超参数的消融研究。F1分数与平面原型数量 K（左）、top-k 选择（中）和损失权重 λ（右）的关系。

第 9 页

AnomExpert 9

下降至 80.8%。对于疾病感知稀疏选择，密集聚合以及移除疾病偏差矩阵均会导致性能下降。这些结果表明，平面识别和疾病感知稀疏选择都对整体性能有所贡献。图 4 展示了关键超参数的影响。我们对每个超参数评估了五个候选值，在 K = 30、top-k = 4 和 λ = 0.1 时取得了最佳性能。

4 结论

我们提出了 AnomExpert，这是一种用于产前超声异常诊断的原型驱动框架，在病例级监督下运行。通过对解剖平面识别和疾病特异性平面选择进行建模，该方法将关键的诊断能力整合到多实例学习（MIL）中。实验表明，该方法在代表性 MIL 方法上均实现了稳定的性能提升，消融研究也支持了各个组件的贡献。这些结果强调了结合解剖平面建模和疾病感知平面选择对于提升弱监督多平面医学图像分析的重要性。未来的研究可以探索增强 AnomExpert 在更多样化数据集上的可扩展性，并将其与临床工作流集成，以实现实时的异常检测和诊断。

致谢。本研究得到了江苏省前沿技术开发计划（项目编号：BF2024078）、国家自然科学基金（项目编号：12326619, 62572324）以及广东省科技计划项目（项目编号：2023A0505020002）的支持。

利益冲突披露。作者声明没有与本文内容相关的竞争利益。

参考文献

1. Adzick, N.S., Thom, E.A., Spong, C.Y., Brock III, J.W., Burrows, P.K., Johnson, M.P., Howell, L.J., Farrell, J.A., Dabrowiak, M.E., Sutton, L.N., et al.: A random- ized trial of prenatal versus postnatal repair of myelomeningocele. New England Journal of Medicine 364(11), 993–1004 (2011) 2. Arnaout, R., Curran, L., Zhao, Y., Levine, J.C., Chinn, E., Moon-Grady, A.J.: An ensemble of neural networks provides expert-level prenatal detection of complex congenital heart disease. Nature medicine 27(5), 882–891 (2021) 3. Barbosa, D., Ferreira, M., Junior, G.B., Salgado, M., Cunha, A.: Multiple instance learning in medical images: a systematic review. IEEE Access 12, 78409–78422 (2024) 4. Breeze, A.C., Lees, C.C.: Antenatal diagnosis and management of life-limiting con- ditions. In: Seminars in Fetal and Neonatal Medicine. vol. 18, pp. 68–75. Elsevier (2013) 5. Cook, R.J., Erdman, J.N., Hevia, M., Dickens, B.M.: Prenatal management of anencephaly. International Journal of Gynecology & Obstetrics 102(3), 304–308 (2008)

第 10 页

10 J. Wang 等

6. Coronado-Gutierrez, D., Eixarch, E., Monterde, E., Matas, I., Traversi, P., Grat- acos, E., Bonet-Carne, E., Burgos-Artizzu, X.P.: 基于自动深度学习的胎儿大脑结构在常规中孕期超声图像中自动勾画和测量的流水线。胎儿诊断与治疗 50(6), 480–490 (2023) 7. Cuturi, M.: Sinkhorn 距离：最优传输的快速计算。神经信息处理系统进展 26 (2013) 8. Guo, J., Tan, G., Wu, F., Wen, H., Li, K.: 基于由粗到细多任务学习的胎儿超声标准平面检测。IEEE 生物医学与健康信息学杂志 27(10), 5023–5031 (2022) 9. Huang, Z., Wessler, B.S., Hughes, M.C.: 通过监督注意力多实例学习从多视角超声图像检测心脏病。在：医疗机器学习会议。pp. 285–307. PMLR (2023) 10. Ilse, M., Tomczak, J., Welling, M.: 基于注意力的深度多实例学习。在：国际机器学习会议。pp. 2127–2136. PMLR (2018) 11. Ilse, M., Tomczak, J.M., Welling, M.: 用于数字病理学的深度多实例学习。在：医学图像计算与计算机辅助干预手册，pp. 521–546. Elsevier (2020) 12. Javed, S.A., Juyal, D., Padigela, H., Taylor-Weiner, A., Yu, L., Prakash, A.: 加法多实例学习：用于病理学的内在可解释多实例学习。神经信息处理系统进展 35, 20689–20702 (2022) 13. Li, B., Li, Y., Eliceiri, K.W.: 用于全切片图像分类的双流多实例学习网络，结合自监督对比学习。在：IEEE/CVF 计算机视觉与模式识别会议论文集。pp. 14318–14328 (2021) 14. Liang, H., Xu, J., Zhang, Y., Huang, Y., Zhang, Y., Yang, X., Li, R., Deng, X., Liu, Y., Tao, G., 等：医学知识驱动的多实例学习用于产前超声严重腹部异常分类。在：国际医学图像计算与计算机辅助干预会议。pp. 344–354. Springer (2025) 15. Ohye, R.G., Schranz, D., D’Udekem, Y.: 发育不全左心综合征及相关单心室病变的当前疗法。循环 134(17), 1265– 1279 (2016) 16. Salomon, L., Alfirevic, Z., Berghella, V., Bilardo, C., Chalouhi, G., Costa, F.D.S., Hernandez-Andrade, E., Malinger, G., Munoz, H., Paladini, D., 等：国际妇产科超声学会实践指南（更新版）：常规中孕期胎儿超声扫描的操作。产科与妇科超声 59(6), 840–856 (2022) 17. Sarris, I., Ioannou, C., Chamberlain, P., Ohuma, E., Roseman, F., Hoch, L., Alt- man, D., Papageorghiou, A., Fetal, I., 21st Century (INTERGROWTH- 21st), N.G.C.: 胎儿超声测量中的观察者内和观察者间变异性。产科与妇科超声 39(3), 266–273 (2012) 18. Shao, Z., Bian, H., Chen, Y., Wang, Y., Zhang, J., Ji, X., 等：Transmil：用于全切片图像分类的基于Transformer的相关多实例学习。神经信息处理系统进展 34, 2136–2147 (2021) 19. Shiku, K., Nishimura, K., Suehiro, D., Tanaka, K., Bise, R.: 使用选择性聚合Transformer进行溃疡性结肠炎严重程度估计的序数多实例学习。在：2025 IEEE/CVF 计算机视觉应用冬季会议 (WACV)。pp. 4290–4299. IEEE (2025) 20. Zhang, Y., Zhang, X., Wang, J., Yang, Y., Peng, T., Tong, C.: Mamba2mil：基于状态空间对偶的计算病理学多实例学习。arXiv 预印本 arXiv:2408.15032 (2024)