SceneBind：跨视觉、音频和语言的语义与空间绑定

以下译文用于快速探索和学习，技术术语按需要保留英文；正式引用和精确表述请以原论文为准。

第 1 页

SceneBind：跨视觉、音频与语言的“何物”与“何处”绑定

Mingfei Chen1, Zijun Cui1,2∗, Ruoke Zhang1, Hyeonggon Ryu3, Eli Shlizerman1† 1华盛顿大学 2德克萨斯大学达拉斯分校 3韩国外国语大学

全局场景语义 2026 场景描述 SceneBind 一辆白色卡车在日本 狭窄的城市街道上行驶，Jul 经过一名步行男子。 对象子句 卡车引擎声 | 略偏 右，水平，近；16 穿深色夹克的男子 | 前方， 对象中心 水平，近 语义-空间表示

图 1：SceneBind 通过联合捕捉视觉、音频和语言中的语义（何物）和 3D 空间属性（何处）来对场景进行建模。SceneBind 将每种模态映射到包含对象中心槽的共享全局嵌入中，从而实现多模态场景的语义-空间表示。[cs.CV] 摘要

我们提出了 SceneBind，这是一种对真实场景的全模态表示，具备跨视觉、音频和语言的联合 语义和 3D 空间理解能力。现有的全模态编码器在实例级语义（即存在什么）方面表现出色，但 往往缺乏明确的空间结构（即在哪里）。SceneBind 通过将每个场景表示为语义-空间实体来解决这一 差距，将全局语义嵌入与对象中心语义-空间槽相结合。这种表示 明确捕捉了对象级语义、空间属性和不确定性。我们 进一步提出了 SceneBind Matching，这是一种语义-空间匹配方案， 将全局场景相似度与对象对齐相结合，支持跨模态 场景检索和对象定位。为了训练和评估 SceneBind，我们整理了一个 新颖的真实世界双耳音频-视觉数据集，其中包含结构化的语义和空间 注释，并提出了跨模态对齐语义和空间 信号的训练协议。SceneBind 兼容大规模预训练arXiv:2607.15265v1 语义编码器，仅通过少量额外 标记即可添加轻量级空间建模。它在场景和空间检索方面达到了最先进水平，同时实现了强大的 零样本迁移能力，应用于音频-视觉定位等下游任务。

∗在华盛顿大学期间领导数据整理工作 †通讯作者：shlizee@uw.edu

预印本。

第 2 页

1 引言

理解真实世界环境强调语义和空间感知，这既捕捉了场景中“有什么”，也捕捉了它们在三维空间中的“在哪里”。这种能力对于多模态空间智能 [1, 2] 至关重要，它使得跨视觉、音频和语言的推理与交互成为可能，并支持具身智能、机器人以及空间锚定的多模态世界模型等应用。

大规模多模态学习的最新进展产生了强大的表示 [3, 4, 5, 6, 7, 8]，这些表示在图像和音频等模态之间对齐了场景的语义概念。虽然这些模型在语义理解方面非常有效，但它们对空间结构的显式建模有限。在本工作中，我们旨在学习一种统一语义和空间结构的表示，用于真实世界的多模态场景，其中每个模态都被编码到一个共享的语义-空间空间中。

实现这一目标面临几个挑战。首先，语义嵌入通常编码全局场景内容，而空间信息本质上是对象中心的。在复杂场景中，单个嵌入往往不足以表示具有不同空间配置的多个对象。其次，跨模态空间学习受限于数据。真实世界的数据集在视觉-音频-语言对齐方面取得了进展，但显式的空间标注仍然有限。学习将视觉对象或文本描述与特定方向和距离处的声源关联起来，需要具有对齐的声源和空间标注的空间音频录音 [2]。合成声学模拟器 [9] 提供了有用的部分解决方案，但仍面临真实感差距以及与真实世界视觉数据不对齐的问题。

为了解决这些挑战，我们提出了 SceneBind，这是一个用于学习多模态场景语义-空间表示的框架。如图 1 所示，SceneBind 通过全局语义嵌入和对象中心语义-空间表示来表示 3D 场景，利用紧凑的 token 捕捉整体上下文和多对象空间结构。为了支持这种形式化，我们引入了一种基于双耳视频的数据策展流程，构建了一个具有结构化空间标注的真实世界场景的新颖多模态数据集和基准。

基于 SceneBind 表示和数据集，我们开发了一种训练策略，用于学习场景中不同数量对象的对象中心表示。我们使用二分匹配将预测的对象槽分配给真实语义-空间对象描述，并结合全局语义对齐、对象定位和对象中心对比目标，以学习判别性强且空间锚定的表示。我们进一步引入了 SceneBind Matching 用于跨模态场景比较，实现了检索、定位以及零样本任务，如音频-视觉定位。

我们的贡献如下：(1) 我们引入了 SceneBind，用于学习多模态场景表示，通过全局和对象中心的联合表示来捕捉语义（有什么）和空间位置（在哪里）。(2) 我们策展了一个具有结构化空间标注的真实世界双耳音频-视觉数据集，以支持语义-空间场景表示的训练和基准测试。(3) 我们提出了 SceneBind Matching，结合全局和对象级对齐，用于跨场景比较、检索和定位。(4) SceneBind 以极小的开销集成预训练编码器，实现了最先进的性能和零样本泛化能力。

2 相关工作

2.1 多模态预训练

大规模对比预训练已在共享嵌入空间中实现了强大的跨模态对齐。图像-文本模型如 CLIP [3] 和 SigLIP [5, 4] 学习了可迁移的视觉表示，而音频-文本模型如 CLAP [6, 7, 10] 将此范式扩展到了声音。更通用的编码器进一步绑定多个模态：AudioCLIP [11] 通过文本对齐音频和视觉，而 ImageBind [8] 使用基于图像的对齐来统一图像、文本、音频和其他信号，支持检索和零样本迁移。这些编码器是多模态系统有效的语义基础 [12, 13, 14]，侧重于强调语义（有什么），而可能忽略位置（实体在哪里）。空间线索往往保留较弱：旋转和翻转可能被视为语义等价，音频经常被混缩为单声道信号。SceneBind 通过保留空间因素并兼容基于对齐的预训练来解决这一差距。

2

第 3 页

2.2 空间锚定的多模态表示

多模态空间推理需要估计实体的位置及其在三维空间中的关系，包括方向、距离和相对几何结构 [1, 2]。以视觉为中心的方法使用点云 [15]、图 [16, 17, 18]、体素网格 [19]、地图 [20, 1] 和神经场 [21, 22] 对三维结构进行建模。以对象为中心的方法，包括检测和接地 [23, 24, 25, 26, 27] 以及多模态场景图 [28, 29]，进一步捕捉细粒度的场景结构，但通常局限于局部、关注前景，或者并非设计为统一的跨模态表示。

音频是识别和空间定位发声物体及事件的重要模态。然而，许多视听空间接地方法使用单声道音频，并依赖视觉线索来定位声音 [30, 31, 32, 33, 34]，这使得在遮挡、视外声源或动态场景下的空间推理变得具有挑战性。空间音频提供了直接的物理线索，如通道间相位和电平差异，用于估计方向和距离 [35, 36, 37, 10, 38, 39, 40]。在先前工作中考虑空间音频时，通常使用的是合成数据或受限传感器，这限制了其在嘈杂真实世界环境中的泛化能力。相比之下，SceneBind 从真实世界的音频、视觉和语言中学习统一的语义-空间表示，将全局语义与语义-空间槽相结合，以捕捉整体场景上下文和对象级对齐。

3 方法

3.1 问题设定与系统概览

我们将场景定义为一个三维语义-空间实体，它捕捉场景中存在的上下文以及物体的位置。场景可以通过多种模态进行观察，包括图像 I、音频 A 和文本 T。文本模态由全局场景描述和一组对象级子句组成，每个子句都配有时空属性 $r_k = (\theta_k, \phi_k, d_k)$，表示相机坐标系下的方位角、仰角和距离。SceneBind 将每种模态映射到共享的语义-空间表示 $X$ 中，该表示由一个全局嵌入和 K 个对象槽组成：

$$ X = \left\{ s_{\text{global}}, \{(s_k, r_k, c_k)\}_{k=1}^K \right\}, \quad (1) $$

其中 $s_{\text{global}} \in \mathbb{R}^d$ 编码场景级语义，每个对象槽由语义嵌入 $s_k \in \mathbb{R}^d$、空间属性 $r_k$ 和置信度分数 $c_k$ 组成。

如图 2 所示，SceneBind 将每种模态编码为由全局嵌入和对象中心语义-空间槽组成的共享语义-空间表示 $X$（第 3.2 节）。它通过全局对齐和二分匹配监督进行训练（第 3.3 节），以对齐跨模态的全局级语义，并将预测的槽与真实文本子句进行接地。在推理阶段，SceneBind Matching 通过结合全局语义相似性和对象中心槽在 $(s_k, r_k, c_k)$ 上的对齐来比较场景表示（第 3.4 节）。

3.2 SceneBind 编码模型

给定来自模态 $m \in \{\text{A-Audio, V-Visual}\}$ 的输入样本，SceneBind 使用特定于模态的编码器和解码器来提取语义-空间上下文令牌，获取全局和对象语义状态，并解码对象空间属性。这些模块共同产生场景表示 $X^m$。

语义-空间上下文令牌。对于视觉模态，我们使用视觉-文本预训练编码器 SigLIP2 [5] 的冻结视觉塔，在视觉-文本空间中生成补丁令牌 $F_V \in \mathbb{R}^{L_V \times d}$，其中补丁序列保留了图像布局，并提供了语义和空间证据。对于音频模态，我们使用 M2D-CLAP [7] 的冻结音频塔，将单声道混合音频编码为 M2D-CLAP 音频-文本嵌入空间中的语义补丁令牌。由于该嵌入空间与 SigLIP2 视觉-文本空间不同，我们训练一个轻量级对齐模块，将 M2D-CLAP 音频令牌映射到 SigLIP2 嵌入空间，并获得 $F_{A_{\text{sem}}} \in \mathbb{R}^{L_A \times d}$。为了捕捉空间线索，我们将双耳波形转换为四通道时频表示，由左/右幅度和相位组成，并将其输入从头训练的卷积空间编码器。生成的空间特征被投影到维度 $d$，插值到长度 $L_A$，并加到 $F_{A_{\text{sem}}}$ 上以形成音频上下文 $F_A \in \mathbb{R}^{L_A \times d}$。

3

第 4 页

(a) SceneBind 编码模型 (b) SceneBind 语义-空间表示 𝝌 槽 𝑠#$%&'$" … 语义 … 𝑠!" 视觉 视觉 视觉 全局 K 个对象槽 非活动槽 语义 … 语义 空间 … 语义 (语义-空间) (𝑐! < 𝜏) 编码器 解码器 解码器 (c) 二分匹配监督 … 潜在查询 场景描述: 𝑠#$%&'$( 一辆白色卡车正沿着 音频 … " 狭窄的城市街道行驶…… 𝑠! K 个对象子句: 语义 人 穿着 深色夹克 | 前方, 水平, 近 … 编码器 音频 音频 卡车 引擎 | 略微 右侧, 水平, 近 … 语义 … 空间 解码器 解码器 音频 (d) SceneBind 匹配 空间 编码器 … 查询场景 X … 模态 V 0.3 + 0.8 ∅ 𝑑𝛗 方位角 ∅ 仰角𝛗 距离 𝒅 目标场景 Y … 对象中心槽 模态 A 语义 𝑠! … … … 𝑆"#$%&# 𝑆$%' >10 30 60 -60 10 30 1.5 5 槽 置信度 得分 𝑐! 空间 𝑟! -30

图 2: SceneBind 概述。(a) SceneBind 编码模型将多模态输入映射到全局嵌入 sglobal 和对象中心槽 (sk, rk, ck)。(b) SceneBind 表示 𝝌 使用全局嵌入和 K 个对象中心语义-空间槽来表示每个场景。(c) 二分匹配将槽与真实对象子句对齐以进行监督。(d) SceneBind 匹配将全局相似度 Sglobal 与对象槽对齐得分 Sobj 结合，用于跨模态场景比较。

语义解码。SceneBind 使用交叉注意力语义解码器 Dmsem 从视觉令牌 FV（用于视觉）和音频语义令牌 FAsem（用于音频）中提取全局和对象语义。一个可学习的全局查询聚合了整体场景内容，类似于预训练编码器中的池化操作 [5, 7]，并输出全局嵌入 smglobal。独特的是，SceneBind 引入了 K 个可学习的潜在对象查询，它们作为语义锚点，从上下文令牌中解码对象语义状态 {hmk }Kk=1。每个对象状态被解码为一个语义槽 smk 和活动置信度 cmk： smk = gmsem(hmk ), cmk = σ(gmconf(hmk )). (2)

空间解码。空间解码器 Dmspa 使用来自 Dmsem 的每个对象语义槽 smk 作为查询，从语义-空间上下文令牌中解码空间属性 ˆrmk = (ˆθmk , ˆϕmk , ˆdmk )。它对视觉补丁令牌 FV（用于视觉）和融合音频上下文 FA 进行交叉注意力，其中 FA 结合了语义音频令牌和双耳空间线索。解码器输出 zmk，并通过特定于模态的投影头映射为空间嵌入 um,θk , um,ϕk 和 um,dk 。这些嵌入被送入共享的方位角、仰角和距离分类器。最终预测 ˆrmk 是通过对每个分类器的 logits 取 argmax 获得的。

对于文本，冻结的文本编码器 [5] 从场景描述中生成全局场景嵌入，并从各个子句中生成对象中心语义嵌入。附加在对象子句上的空间标签直接用作方位角、仰角和距离的目标。

3.3 二分匹配监督

本节介绍如何对 SceneBind 表示进行监督，该表示由全局语义嵌入和对象语义-空间槽组成。对于全局语义监督，我们对音频-视觉、音频-文本和视觉-文本的配对样本应用对称的 InfoNCE [41] 损失 Lglobal，使用场景描述作为文本目标。对于每个模态对，源自同一场景的样本形成正对，而源自小批量中不同场景的样本形成负对。这遵循标准的对比对齐方法，在共享空间中拉近匹配的样本并推远未匹配的样本。

对象中心监督具有挑战性，因为预测的槽是无序的，且不同场景中注释的对象数量各不相同。为了适应这种可变性，SceneBind 预测一组固定的 K 个槽，并将其中一部分分配给可用的对象注释。具体而言，如图 2 (c) 所示，我们在应用对象级损失之前，使用二分匹配 [42] 将槽分配给真实对象。每个真实对象 j 包括一个语义嵌入 s∗j 和空间属性

4

第 5 页

r∗j = (θ∗j , ϕ∗j, d∗j)。因此，对于预测槽 $i$，匹配分数为

$$ a_{ij} = (1 – \lambda) \cos(s_i, s^*_j) + \lambda \rho_{ij} (\alpha + \beta c_i). \quad (3) $$

其中 $\rho_{ij}$ 表示空间匹配分数，计算为槽 $i$ 分配给对象 $j$ 的真实方位角、仰角和距离分箱的平均 softmax 概率。最大化总匹配分数的一对一分配提供了槽的监督信号。

对象定位监督（Object Grounding Supervision）。对象定位损失 $L_{obj}$ 在语义和空间上将每个匹配的槽与其配对的对象子句进行定位。我们通过余弦距离将槽嵌入与子句嵌入对齐，并使用高斯平滑交叉熵对离散化的分箱进行方位角、仰角和距离的监督，使得邻近的空间分箱比远距离的分箱产生更小的惩罚，从而保留局部空间连续性。槽置信度使用二元交叉熵进行训练，将匹配的槽视为正样本，未匹配的槽视为负样本。

对象中心对比学习（Object-Centric Contrastive Learning）。除了定位之外，匹配的分配定义了跨模态的对象对应关系。这种对比监督鼓励指向同一对象的槽在不同模态之间对齐，同时保持不同实例的对象可分离。我们使用场景内损失 $L_{inst}$ 和跨场景损失 $L_{batch}$。场景内损失 $L_{inst}$ 将跨模态匹配到同一真实对象的槽作为正样本，将同一场景内的其他槽作为负样本，以鼓励共现对象的分离。跨场景损失 $L_{batch}$ 对迷你批次中的匹配对象进行对比，进一步提高对象的判别能力。对于音频-视觉对，我们对语义和空间嵌入应用跨场景对比学习：

$$ L_{ctr}(U, V) = -\log \frac{\exp(\text{sim}(u_i, v_i)/\tau)}{\sum_j \exp(\text{sim}(u_i, v_j)/\tau)} \quad (4) $$

$$ L_{A,V}^{batch} = L_{ctr}(s_A, s_V) + \sum_{q \in \{\theta, \phi, d\}} \gamma_q L_{ctr}(u_{A,q}, u_{V,q}), \quad (5) $$

其中 $\gamma_q$ 缩放每个空间轴的贡献，分配给同一真实子句的匹配音频-视觉槽为正样本。对于音频-文本和视觉-文本对，$L_{batch}$ 仅使用语义嵌入，因为文本没有学习到的空间头特征。

整体训练目标（Overall Training Objective）。SceneBind 使用全局对齐（$L_{global}$）、对象定位（$L_{obj}$）和对象中心对比目标（$L_{inst}, L_{batch}$）的组合进行训练。

我们分两个阶段进行训练。第一阶段使用来自 AudioCaps [43]、MS-COCO [44] 以及我们精心策划的带有对齐空间标签的双耳数据集的混合监督，结合了广泛的全局语义对齐与空间定位的对象中心学习。第二阶段仅在双耳数据集上进一步微调，使 SceneBind 专门用于全局和对象级别上的跨模态语义-空间对齐。完整的训练细节见附录。

3.4 SceneBind 匹配

在推理时，我们提出了一种统一的匹配方案（图 2 (d)），该方案通过全局语义对齐和对象中心语义-空间对应关系来比较场景。给定查询场景 $X^q$ 和候选场景 $X^c$，全局分数是其场景级嵌入之间的余弦相似度，记为 $S_{global}$。对于对象中心匹配，我们首先根据置信度分数保留活动槽。每个查询槽在由槽置信度加权的语义-空间分数下检索其最佳匹配的候选槽：

$$ S_{obj} = \frac{\sum_i w_{i j^*_i} \cos(s_{q_i}, s_{c_{j^*_i}}) \rho_{i j^*_i}}{\sum_i w_{i j^*_i} + \epsilon}, \quad j^*_i = \arg \max_{j} w_{ij} \cos(s_{q_i}, s_{c_j}) \rho_{ij}, \quad w_{ij} = \sqrt{c_{q_i} c_{c_j}}. \quad (6) $$

其中 $\rho_{ij}$ 测量预测的方位角、仰角和距离分布之间的空间相似度，$w_{ij}$ 是几何平均置信度，为可靠的槽对赋予更高的权重。每个查询槽独立选择其最佳候选槽。最后，SceneBind 在查询归一化后结合全局和对象分数：$S(X^q, X^c) = \text{norm}(S_{global}) + \lambda_{match} \text{norm}(S_{obj})$，其中 $\lambda_{match}$ 平衡场景级语义对齐和对象级语义-空间匹配。

5

第 6 页

4 实验

4.1 野外空间锚定数据构建

我们从两个来源构建空间锚定的全模态数据。主要的双耳（Binaural）语料库收集自 21,927 个带有双耳音频的野外视频，提供了真实的空间音频线索。我们的多阶段流水线对源视频进行过滤、标注候选事件、验证跨模态一致性、平衡空间与语义覆盖范围，并应用人工审查以进行评估。我们使用 Gemini [45] 从视频片段中提出短事件，将可听事件与可见实体关联，并从视觉证据中估计相机坐标系的空间标签。随后，使用预训练的音频和视觉编码器 [8, 6, 7] 对提议进行验证，并进行平衡以减少空间和语义冗余。每个保留的片段包含一个两秒的音频-图像对、场景描述以及带有实例语义描述和空间标签（方位角、仰角和距离）的对象子句。最终训练集包含 38,430 个片段，共 207,836 个对象；经人工验证的双耳基准测试集包含 1,066 个片段。我们还基于 360◦ ambisonic 视频 [46] 构建了 Sphere360 基准测试集，用于在全视角变化下进行零样本评估。更多细节见附录。

4.2 任务与评估

我们评估 SceneBind 以回答以下问题：(1) SceneBind 在检索和对象定位任务中如何优于仅基于全局语义的表示？(2) 训练和推理设计如何影响语义-空间对齐？(3) SceneBind 如何实现零样本泛化？

跨模态场景检索。我们在音频 (A)、视觉 (V) 和文本 (T) 模态之间评估检索性能（表 1），其中每个场景包含双耳音频、图像和文本描述（全局标题 + 对象子句）。给定一个模态中的查询（或融合后的查询对），任务是在另一个模态中检索相应的场景。我们报告双向 Recall@1 (R@1)，即正确匹配排名第一的查询比例，针对 A ↔V、A ↔T 和 V ↔T，测试样本池大小为 1046。我们进一步在 Sphere360 上评估零样本泛化能力（表 6），其中每个文本查询使用单个主导对象子句结合全局标题，候选项为同一场景的空间增强视图，要求细粒度的空间判别能力。

空间检索。我们使用带有空间属性的对象文本子句评估空间检索（表 1）。候选项根据每个样本内对象中心预测的最大空间相似度进行排序。我们报告空间 mAP，用于衡量具有正确空间标签的候选项的排名高低，以及空间 R@1，该指标在同一语义簇但不同空间配置内计算，以测试空间判别能力。

对象定位。对象定位评估模型是否能在空间中正确定位查询对象。给定一个对象查询，我们对其语义描述（不含空间属性）进行编码，并基于语义相似度和置信度将其与预测的对象中心槽进行匹配（表 2）。选择最佳匹配的槽进行评估。我们报告召回率，即语义相似度 > 0.5 的查询比例，以及准确率，即同时所有空间标签（方位角、仰角、距离）均正确的查询比例。我们还报告各属性的空间准确率。

零样本下游任务。我们评估零样本迁移至需要联合空间与语义推理的多模态任务，即自走式音频-视觉定位 [47]（表 7）。给定立体音频和图像，目标是在图像中预测发声区域。我们直接应用 SceneBind，无需针对特定任务进行训练。我们在多个阈值（例如 0.2、0.3、0.4）下报告 cIoU，用于衡量预测区域与真实值 (GT) 的重叠程度，并报告 AUC 以总结各阈值下的性能。

4.3 基线方法

我们将方法与代表性的多模态编码器进行比较，包括 AudioCLIP [11]、CLAP 变体（LAION-CLAP [6]、M2D-CLAP [7]）、SpatialCLAP [10] 和 ImageBind [8]。我们将基于 CLAP 的音频编码器与 SigLIP2 [5] 配对，而 AudioCLIP 和 ImageBind 使用原生编码器。对于零样本评估，我们使用原生文本编码器和链式评分进行 AV 检索。由于这些模型为每个样本生成单个嵌入，我们将它们视为单个对象中心预测（置信度 1.0，无空间属性），独立匹配每个子句，并聚合相似度以进行检索。为了进一步公平比较，我们对一组选定的强基线和代表性基线进行微调，包括 ImageBind*、与 SigLIP2* 配对的 M2D-CLAP*，以及与 SigLIP2* 配对的 SpatialCLAP*（这些

第 7 页

表 1：在未见的双耳测试集上的跨模态场景检索（R@1）和对象级空间检索。SceneBind 优于所有基线，在文本条件检索（特别是 V↔T）和空间指标上获得最大提升，证明了场景语义-空间表示的有效性。

| Encoder | Scene Retrieval (R@1 ↑) | | | Spatial Retrieval (↑) | | | | | :— | :—: | :—: | :—: | :—: | :—: | :—: | :—: | | | Audio–Text | Visual–Text | A↔V | A↔T | V↔T | Avg R@1 | mAP | Avg | | AudioCLIP [11] | AudioCLIP [11] | 0.3 | 0.3 | 20.6 | 7.1 | 9.3 | 28.1 | 18.7 | | SpatialCLAP [10] | SigLIP2 [5] | 0.4 | 1.9 | 51.2 | 17.8 | 10.1 | 28.0 | 19.0 | | LAION-CLAP [6] | SigLIP2 [5] | 0.5 | 5.9 | 51.2 | 19.2 | 10.1 | 28.7 | 19.4 | | M2D-CLAP [7] | SigLIP2 [5] | 0.3 | 9.0 | 51.2 | 20.2 | 11.4 | 29.6 | 20.5 | | ImageBind [8] | ImageBind [8] | 7.8 | 7.6 | 48.0 | 21.2 | 10.6 | 28.7 | 19.6 | | M2D-CLAP*[7] | SigLIP2*[5] | 19.3 | 11.2 | 42.8 | 24.4 | 10.1 | 28.9 | 19.5 | | ImageBind*[8] | ImageBind*[8] | 19.3 | 10.9 | 35.4 | 21.9 | 10.4 | 29.4 | 19.9 | | SpatialCLAP*[10] | SigLIP2*[5] | 16.1 | 9.3 | 44.2 | 23.2 | 10.6 | 29.2 | 19.9 | | SceneBind (Ours) | SceneBind (Ours) | 21.8 | 17.0 | 65.3 | 34.7 | 28.9 | 48.0 | 38.4 |

支持空间音频输入），在相同的数据和训练设置下，通过投影头学习到一个与冻结的 SigLIP2 文本特征对齐的共享空间，并使用全局和多正样本（对象子句）对比损失。更多细节见附录。

4.4 主要结果

跨模态场景检索。SceneBind 在 A↔V、A↔T 和 V↔T 检索任务中均取得了最佳的整体性能（表 1）。与预训练编码器相比，微调（*）适度改善了 A↔V 和 A↔T 检索，但在 V↔T 上产生的收益有限甚至为负。相比之下，SceneBind 始终优于所有基线，在 V↔T 上达到 65.3（较预训练提升 28%，较微调提升 48%），在 A↔T 上达到 17.0（提升 52%），在文本相关检索——尤其是 V↔T——上获得最大提升。这表明，SceneBind 结合对象中心匹配的共同语义-空间建模，超越了全局语义编码，提升了场景检索效果。

在 Sphere360 困难池（表 6）中，候选项共享相同的语义但空间位置不同，微调几乎没有带来改善，而 SceneBind 达到了 29.3（较最佳微调结果提升 56%），证明了在场景检索的语义歧义下具有强大的零样本空间判别能力。

空间检索。SceneBind 在空间检索任务上显著优于所有基线（表 1），达到 28.9 R@1 和 48.0 mAP，与最佳基线相比，分别提升了 153% 和 62%。值得注意的是，微调现有编码器收益甚微，因为它们主要依赖全局语义，缺乏明确的空间定位。相比之下，SceneBind 的对象中心空间表示和语义-空间匹配，能够在语义相同但空间不同的候选项中实现准确检索。

对象定位。SceneBind 通过其对象中心的语义-空间表示实现了文本引导的对象定位。如表 2 所示，SceneBind 使用音频（A）和视觉（V）的整体定位准确率分别为 20.1% 和 19.1%。更重要的是，其空间属性准确率远高于随机水平，包括音频高度恢复为 83.2%，视觉左右和距离恢复分别为 67.1% 和 66.1%。音频在高度恢复方面表现更强，而视觉在左右方位和距离估计方面表现更好。综上所述，这些结果表明 SceneBind 学习了对象文本语义与空间属性在两种模态之间的有意义关联。

4.5 消融实验

训练目标消融。移除对象级语义监督（无 Lsem）导致定位（19.6→8.8）和空间检索（38.4→35.2）性能下降，因为对象表示不再与文本查询对齐，而由于全局偏差，场景检索略有提升（34.7→36.0）。移除场景内对比损失（Linst）导致整体性能下降（Avg 30.9→27.2），其中空间（38.4→31.1）和定位（19.6→16.1）出现显著下降，表明对象判别能力减弱。移除批次级对比损失（Lbatch）主要影响空间检索（38.4→36.5），因为它编码了跨场景的空间判别能力，而场景内对齐仍保留了语义匹配。结合所有损失取得了最佳的整体性能。

7

第 8 页

表 2：具有逐属性空间精度的对象定位。SceneBind 能够实现 A/V 对象一致的语义-空间定位。

| 模态 | Acc ↑ | Azi ↑ | L/R ↑ | Elev ↑ | Dist ↑ | | :— | :— | :— | :— | :— | :— | | A | 20.1 | 39.4 | 62.7 | 83.2 | 58.4 | | V | 19.1 | 35.5 | 67.1 | 76.1 | 66.1 |

表 4：训练目标消融实验。对象语义损失对于定位至关重要，场景内对比损失用于判别，而批次级语义-空间对比损失用于空间检索。

| Lsem | Linst | Lbatch | Scene ↑ | Spatial ↑ | Ground ↑ | | :—: | :—: | :—: | :—: | :—: | :—: | | ✓ | ✓ | | 35.5 | 36.5 | 19.6 | | | | ✓ | 34.3 | 31.1 | 16.1 | | | ✓ | ✓ | 36.0 | 35.2 | 8.8 | | ✓ | ✓ | ✓ | 34.7 | 38.4 | 19.6 |

表 3：SceneBind 匹配消融实验。全局匹配和槽匹配是互补的；仅使用槽的消融实验支持我们的设计（最佳匹配）。对于所有指标，越高越好。

| 策略 | AV | T→A/V | A/V→T | Spatial | | :— | :— | :— | :— | :— | | Global | 21.3 | 36.1 | 34.2 | 25.4 | | Global+Slot | 21.8 | 42.4 | 39.9 | 38.4 | | Slot-only: Best match | 11.5 | 18.6 | 17.3 | 38.4 | | Hungarian w/o conf | 10.9 | 21.1 | 6.9 | 38.4 | | | 9.5 | 22.8 | 15.7 | 38.4 |

表 5：训练计划与数据。两阶段训练（All → Binaural）在提升整体对齐的同时保留了空间性能。

| 阶段 1 | 阶段 2 | Scene ↑ | Spatial ↑ | Ground ↑ | | :— | :— | :— | :— | :— | | Binaural | – | 33.8 | 35.2 | 19.5 | | All | Binaural | 34.7 | 38.4 | 19.6 | | All | All | 35.2 | 36.5 | 19.9 |

包含两阶段训练的数据配方。 我们使用多种数据源训练 SceneBind，包括我们新提出的双耳数据集（空间 AVT）、AudioCaps [43]（AT）和 MS-COCO [44]（VT）。仅使用双耳数据会导致性能较低，因为其语义对齐较弱。在单个阶段中训练所有数据会提升场景（34.7→35.2）和定位（19.6→19.9）性能，但会降低空间检索性能（38.4→36.5），因为非空间数据稀释了空间监督信号。采用两阶段计划，即先在所有数据上训练以实现全局对齐，然后在双耳数据上进行微调以更好地进行空间定位，达到了最佳平衡，在提升整体对齐的同时保留了空间性能。

匹配策略论证。 全局匹配捕捉整体场景语义，在语义检索方面表现强劲，但缺乏空间精度。如表 3 所示，添加槽提升了所有指标，尤其是空间检索（从 25.4 提升至 38.4），这表明需要对象中心槽来提供缺失的空间位置信号。仅使用槽的匹配保留了空间性能，但丢失了场景上下文，导致场景检索准确率大幅下降。仅使用槽的消融实验进一步证明了我们最佳匹配设计的合理性。具体而言，当干净的真实对象子句查询预测槽时，匈牙利算法的一对一分配改善了 T→A/V，但通过强制噪声预测槽匹配真实对象子句，降低了 A/V→T。移除置信度主要降低了预测到预测（A↔V）和预测到真实（A/V→T）的匹配性能，因为噪声低质量槽对不再被降权。

对象中心槽扩展性分析。 我们分析了对象中心槽的数量如何影响语义-空间性能（图 3）。超过适度数量的槽（即 > 10）后，性能趋于饱和，表明一组约 10 个槽足以捕捉场景级结构。视觉任务受益于更多的槽（在约 25 个时达到峰值），这是因为其对象密度较高；而音频通常并发事件较少，在较少的槽（约 5 个）时达到峰值。对于零样本音频-视觉定位（第 4.7 节），更多的槽提供了更好的候选区域并提高了覆盖率。

4.6 定性结果

图 4 将 SceneBind 与最强的零样本基线 ImageBind 以及最强的微调基线 M2D-SigLIP2* 进行了比较。在 A→V 检索中，SceneBind 将真实公园场景排在第一位，并检索出具有相似布局的候选项，而基线模型捕捉了粗略的语义，但遗漏了关键的空间线索，如“右侧有一个孩子在哭”。SceneBind 匹配从对象-槽预测中识别出“鸟叫声”和“右侧有一个孩子在哭”等线索，而对象得分（o）补充了全局得分（g）。这些平衡了空间对象与整体场景上下文的匹配。在 T→A 和 T→V 检索中，SceneBind 也将查询对象与其空间属性相匹配；在滑板车示例中，尽管全局得分较低，但较高的槽得分选出了正确的图像。这些例子展示了 SceneBind 对齐语义和位置的能力。

8

第 9 页

表 6：Zero-shot Sphere360 hard-pool 检索。在相同语义但空间配置不同的情况下进行场景级检索。SceneBind 显著提升了性能，证明了其在语义歧义下强大的空间判别能力。对于所有指标，数值越高越好。

| Audio–Text | Visual–Text | AV | VT | AT | Avg | | :— | :— | :— | :— | :— | :— | | AudioCLIP [11] | AudioCLIP [11] | 11.2 | 16.0 | 4.9 | 10.7 | | SpatialCLAP [10] | SigLIP2 [5] | 13.6 | 19.9 | 1.9 | 11.8 | | LAION-CLAP [6] | SigLIP2 [5] | 17.5 | 19.9 | 8.7 | 15.4 | | M2D-CLAP [7] | SigLIP2 [5] | 18.4 | 19.9 | 10.2 | 16.2 | | ImageBind [8] | ImageBind [8] | 15.0 | 18.0 | 5.3 | 12.8 | | M2D-CLAP*[7] | SigLIP2*[5] | 19.9 | 20.4 | 8.3 | 16.2 | | ImageBind*[8] | ImageBind*[8] | 23.3 | 22.8 | 10.2 | 18.8 | | SpatialCLAP*[10] | SigLIP2*[5] | 19.4 | 19.9 | 9.7 | 16.3 | | SceneBind | SceneBind | 25.7 | 32.0 | 30.1 | 29.3 |

图 3：对象槽缩放。性能在超过适度数量后趋于饱和或下降；约 10 个槽位已足够。

A -> V SceneBind (Ours) GT rank: 1 Grounded Object Slots (SceneBind) Audio Slots High-pitched, intermittent bird calls from the surroundings. conf 0.85 front-center level >10m g 0.638 o 0.267 g 0.631 o 0.246 g 0.586 o 0.250 A young child producing loud, high-pitched crying sounds. conf 0.37 slight-right level 1.5-5m

ImageBind GT rank: 92 M2D-SigLIP2* GT rank: 7

Visual Slots A large lake with calm, blue water. conf 0.90 slight-left level >10m A young child producing loud, high-pitched crying sounds. conf 0.90 front-right high >10m A man wearing a black jacket walking away. conf 0.63 front-center level 1.5-5m

T -> A Two young men perform an acoustic song in a bedroom, with one singing and both playing guitars. T -> V A white scooter drives down a quiet street while children walk on the sidewalk.

Query A man in a black red shirt playing acoustic guitars singing being vocals strummed | slight-left, | slight-left, level, low, 1.5-5m 1.5-5m Query A white white scooter van is parked drives on away the downside | the front-right, street | slight-right, level, >10m level, 5-10m A brown acoustic guitar being played | front-right, low, 1.5-5m

g 0.520 o 0.225 g 0.543 o 0.188 g 0.524 o 0.192 g 0.380 o 0.325 g 0.382 o 0.280 g 0.365 o 0.287

图 4：定性结果。SceneBind 检索出在音频、视觉和文本方面语义和空间对齐的场景。我们展示了前 3 个候选项，包括全局相似度 (g)、对象中心匹配分数 (o)，以及带有置信度和空间标签的接地槽位。

4.7 零样本下游应用：自走式空间音频-视觉定位

SceneBind 无需针对特定任务的训练即可推广到自走式 AV 定位（表 7），实现了强大的 cIoU 和 AUC，证明了语义-空间表示的有效迁移。

如图 5 所示，全局语义查询会在视觉补丁上诱导出一个注意力图，作为感兴趣区域（ROI）的先验。我们使用语义和空间一致性在音频和视觉对象中心槽之间进行跨模态匹配，并选择最佳配对。预测的空间属性（方位角、仰角）定义了一个高斯空间先验，该先验与注意力图融合以细化定位，从而产生最终的发声区域。更多细节见附录。

5 结论

我们提出了 SceneBind，这是一种统一的泛模态表示，用于在视觉、音频和语言之间联合语义和空间表示。通过结合全局语义与对象语义-空间槽位，SceneBind 建模了“是什么”和“在哪里”，实现了跨模态检索和接地的空间-语义对齐。我们引入了一个精心策划的空间对齐双耳数据集、一个联合语义-空间训练协议，以及一个整合全局和对象表示的统一匹配策略。SceneBind 取得了强大的性能以及有效的零样本泛化能力。

局限性与未来工作。SceneBind 可能受益于扩展具有更丰富野外标注的真实世界空间对齐多模态数据，并扩展到更长的时间窗口。

9

第 10 页

表 7：自走式音频-视觉定位。SceneBind (AV) 仅使用双耳音频进行训练，而 SceneBind 使用完整的多源训练；两者均为零样本方法，且优于先前的微调方法，完整训练进一步提升了性能。

| Method | cIoU ↑ @0.2 | @0.3 | @0.4 | AUC ↑ | | :— | :— | :— | :— | :— | | Attention [48] | 7.12 | – | – | 6.42 | | STM [49] | 12.10 | 7.64 | 4.01 | 8.87 | | Hardway [50] | 24.51 | 13.55 | 6.10 | 13.38 | | SSPL [51] | 13.62 | 8.10 | 4.45 | 9.56 | | Mix [52] | 26.01 | 15.25 | 9.90 | 15.39 | | Global SSS [53] | 9.76 | 9.89 | 10.10 | 7.50 | | AVLoc [47] | 38.71 | 19.42 | 10.51 | 18.38 | | SceneBind (AV) | 43.94 | 26.34 | 13.91 | 20.80 | | SceneBind | 52.65 | 33.73 | 19.47 | 24.39 |

图 5：音频-视觉定位可视化。全局语义注意力提出发声区域，由 SceneBind 槽的空间一致性进行细化。

以建模物体运动、长程场景动态以及时间上一致的语义-空间推理。更多讨论见附录。

6 致谢

作者 (MC, ES) 感谢 HDR Institute: Accelerated AI Algorithms for Data-Driven Discovery (A3D3) 美国国家科学基金会 grant PHY-2117997、美国国家科学基金会 grant EFRI-BRAID-2223495 以及美国国家科学基金会 grant PFI-TT-2414896 的部分支持。作者还感谢电气计算机工程与应用数学系的部分支持。作者感谢华盛顿大学 eScience Center。

10

第 11 页

参考文献

[1] Jihan Yang, Shusheng Yang, Anjali Gupta, Rilyn Han, Li Fei-Fei, 和 Saining Xie。Thinking in Space: How Multimodal Large Language Models See, Remember and Recall Spaces. arXiv 预印本 arXiv:2412.14171, 2024.

[2] Mingfei Chen, Zijun Cui, Xiulong Liu, Jinlin Xiang, Caleb Zheng, Jingyuan Li, 和 Eli Shlizerman。SAVVY: Spatial awareness via audio-visual LLMs through seeing and hearing. 在第三十九届神经信息处理系统大会 (NeurIPS), 2025.

[3] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, 等。Learning transferable visual models from natural language supervision. 在国际机器学习会议 (ICML), 第 8748–8763 页。PMLR, 2021.

[4] Xiaohua Zhai, Basil Mustafa, Alexander Kolesnikov, 和 Lucas Beyer。Sigmoid loss for language image pre-training. 2023 IEEE/CVF 国际计算机视觉会议 (ICCV), 第 11941–11952 页, 2023.

[5] Michael Tschannen, Alexey Gritsenko, Xiao Wang, Muhammad Ferjad Naeem, Ibrahim M. Alabdulmohsin, Nikhil Parthasarathy, Talfan Evans, Lucas Beyer, Ye Xia, Basil Mustafa, Olivier H’enaff, Jeremiah Harmsen, Andreas Steiner, 和 Xiao-Qi Zhai。Siglip 2: Multilingual vision-language encoders with improved semantic understanding, localization, and dense features. ArXiv, abs/2502.14786, 2025.

[6] Yusong Wu, Ke Chen, Tianyu Zhang, Yuchen Hui, Taylor Berg-Kirkpatrick, 和 Shlomo Dubnov。Large-scale contrastive language-audio pretraining with feature fusion and keyword-to-caption augmentation. 在 ICASSP 2023-2023 IEEE 国际声学、语音和信号处理会议 (ICASSP), 第 1–5 页。IEEE, 2023.

[7] Daisuke Niizumi, Daiki Takeuchi, Yasunori Ohishi, Noboru Harada, Masahiro Yasuda, Shunsuke Tsubaki, 和 Keisuke Imoto。M2d-clap: Masked modeling duo meets clap for learning general-purpose audio-language representation, 2024.

[8] Rohit Girdhar, Alaaeldin El-Nouby, Zhuang Liu, Mannat Singh, Kalyan Vasudev Alwala, Armand Joulin, 和 Ishan Misra。Imagebind: One embedding space to bind them all. 在 IEEE/CVF 计算机视觉与模式识别会议论文集, 第 15180–15190 页, 2023.

[9] Changan Chen, Carl Schissler, Sanchit Garg, Philip Kobernik, Alexander Clegg, Paul Calamia, Dhruv Batra, Philip Robinson, 和 Kristen Grauman。Soundspaces 2.0: A simulation platform for visual-acoustic learning. 神经信息处理系统进展, 35:8896–8911, 2022.

[10] Kentaro Seki, Yuki Okamoto, Kouei Yamaoka, Yuki Saito, Shinnosuke Takamichi, 和 Hiroshi Saruwatari。Spatial-clap: Learning spatially-aware audio–text embeddings for multi-source conditions. arXiv 预印本 arXiv:2509.14785, 2025.

[11] Andrey Guzhov, Federico Raue, Jörn Hees, 和 Andreas Dengel。Audioclip: Extending clip to image, text and audio, 2021.

[12] Yunfei Chu, Jin Xu, Xiaohuan Zhou, Qian Yang, Shiliang Zhang, Zhijie Yan, Chang Zhou, 和 Jingren Zhou。Qwen-audio: Advancing universal audio understanding via unified large-scale audio-language models. arXiv 预印本 arXiv:2311.07919, 2023.

[13] Jiaming Han, Kaixiong Gong, Yiyuan Zhang, Jiaqi Wang, Kaipeng Zhang, Dahua Lin, Yu Qiao, Peng Gao, 和 Xiangyu Yue。Onellm: One framework to align all modalities with language. 在 IEEE/CVF 计算机视觉与模式识别会议 (CVPR) 论文集, 2024.

[14] Artemis Panagopoulou, Le Xue, Ning Yu, Junnan Li, Dongxu Li, Shafiq Joty, Ran Xu, Silvio Savarese, Caiming Xiong, 和 Juan Carlos Niebles。X-instructblip: A framework for aligning x-modal instruction-aware representations to llms and emergent cross-modal reasoning, 2023.

11

第 12 页

[15] Sourav Garg, Krishan Rana, Mehdi Hosseinzadeh, Lachlan Mares, Niko Sünderhauf, Feras Dayoub, 和 Ian Reid。Robohop：用于开放世界视觉导航的基于分割的拓扑地图表示。在 2024 年 IEEE 国际机器人与自动化会议 (ICRA) 上， 第 4090–4097 页。IEEE，2024 年。

[16] Krishna Murthy Jatavallabhula, Alihusein Kuwajerwala, Qiao Gu, Mohd Omama, Tao Chen, Shuang Li, Ganesh Iyer, Soroush Saryazdi, Nikhil Keetha, Ayush Tewari, Joshua B. Tenenbaum, Celso Miguel de Melo, Madhava Krishna, Liam Paull, Florian Shkurti, 和 Antonio Torralba。 Conceptfusion：开放集多模态 3D 建图。《机器人学：科学与系统》(RSS)，2023 年。

[17] Qiao Gu, Ali Kuwajerwala, Sacha Morin, Krishna Murthy Jatavallabhula, Bipasha Sen, Aditya Agarwal, Corban Rivera, William Paul, Kirsty Ellis, Rama Chellappa 等。Conceptgraphs： 用于感知和规划的开放词汇 3D 场景图。在 2024 年 IEEE 国际机器人与自动化会议 (ICRA) 上，第 5021–5028 页。IEEE，2024 年。

[18] Yuncong Yang, Han Yang, Jiachen Zhou, Peihao Chen, Hongxin Zhang, Yilun Du, 和 Chuang Gan。3d-mem：用于具身探索和推理的 3D 场景记忆，2024 年。

[19] Zihan Wang, Xiangyang Li, Jiahao Yang, Yeqi Liu, 和 Shuqiang Jiang。Gridmm：用于视觉-语言导航的网格记忆地图。 在 IEEE/CVF 国际计算机视觉会议论文集上，第 15625–15636 页，2023 年。

[20] Chenguang Huang, Oier Mees, Andy Zeng, 和 Wolfram Burgard。用于机器人导航的视觉语言地图。 在 IEEE 国际机器人与自动化会议 (ICRA) 上，英国伦敦，2023 年。

[21] Hanlin Chen, Fangyin Wei, 和 Gim Hee Lee。Chatsplat：3D 对话式高斯泼溅。 arXiv 预印本 arXiv:2412.00734，2024 年。

[22] Jin-Chuan Shi, Miao Wang, Hao-Bin Duan, 和 Shao-Hua Guan。用于开放词汇场景理解的嵌入语言的 3D 高斯泼溅。 在 IEEE/CVF 计算机视觉与模式识别会议论文集上，第 5333–5343 页，2024 年。

[23] Tianhe Ren, Shilong Liu, Ailing Zeng, Jing Lin, Kunchang Li, He Cao, Jiayu Chen, Xinyu Huang, Yukang Chen, Feng Yan, Zhaoyang Zeng, Hao Zhang, Feng Li, Jie Yang, Hongyang Li, Qing Jiang, 和 Lei Zhang。Grounded sam：组装开放世界模型以应对多样化的视觉任务，2024 年。

[24] Shilong Liu, Zhaoyang Zeng, Tianhe Ren, Feng Li, Hao Zhang, Jie Yang, Chun yue Li, Jianwei Yang, Hang Su, Jun-Juan Zhu, 和 Lei Zhang。Grounding dino：结合 DINO 与有监督预训练以实现开放集目标检测。ArXiv，abs/2303.05499，2023 年。

[25] Tianhe Ren, Qing Jiang, Shilong Liu, Zhaoyang Zeng, Wenlong Liu, Han Gao, Hongjie Huang, Zhengyu Ma, Xiaoke Jiang, Yihao Chen, Yuda Xiong, Hao Zhang, Feng Li, Peijun Tang, Kent Yu, 和 Lei Zhang。Grounding dino 1.5：推进开放集目标检测的“边缘”。ArXiv，abs/2405.10300，2024 年。

[26] Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, 和 Sergey Zagoruyko。基于 Transformer 的端到端目标检测。在 Andrea Vedaldi, Horst Bischof, Thomas Brox, 和 Jan-Michael Frahm 编辑的《计算机视觉 – ECCV 2020 – 第 16 届 欧洲会议，英国格拉斯哥，2020 年 8 月 23-28 日，论文集，第一部分，计算机科学讲义》上，第 213–229 页。Springer，2020 年。

[27] Xizhou Zhu, Weijie Su, Lewei Lu, Bin Li, Xiaogang Wang, 和 Jifeng Dai。Deformable DETR：用于端到端目标检测的可变形 Transformer。 在第九届国际学习表征会议 (ICLR 2021) 上，奥地利虚拟会议，2021 年 5 月 3-7 日。OpenReview.net， 2021 年。

[28] Moitreya Chatterjee, Jonathan Le Roux, Narendra Ahuja, 和 Anoop Cherian。用于音频源分离的视觉场景图。 2021 年 IEEE/CVF 国际计算机视觉会议 (ICCV)，第 1184–1193 页，2021 年。

12

第 13 页

[29] Moitreya Chatterjee, Narendra Ahuja, 和 Anoop Cherian。利用场景图学习音频-视觉动态以实现音频源分离。在 Advances in Neural Information Processing Systems, 2022。

[30] Shentong Mo 和 Yapeng Tian。用于从混合声中进行声音定位的音频-视觉分组网络。在 IEEE/CVF 计算机视觉与模式识别会议论文集 (CVPR), 第 10565–10574 页, 2023。

[31] Yuxin Ye, Wenming Yang, 和 Yapeng Tian。Lavss: 位置引导的音频-视觉空间音频分离。在 IEEE/CVF 计算机视觉应用冬季会议论文集 (WACV), 第 5508–5519 页, 2024。

[32] Andrew Owens 和 Alexei A Efros。利用自监督多感官特征进行音频-视觉场景分析。在欧洲计算机视觉会议 (ECCV) 论文集, 第 631–648 页, 2018。

[33] Di Hu, Rui Qian, Minyue Jiang, Xiao Tan, Shilei Wen, Errui Ding, Weiyao Lin, 和 Dejing Dou。通过自监督视听匹配进行判别性发声对象定位。Advances in Neural Information Processing Systems, 33:10077–10087, 2020。

[34] Yapeng Tian, Di Hu, 和 Chenliang Xu。发声对象视觉定位与声音分离的循环协同学习。2021 IEEE/CVF 计算机视觉与模式识别会议 (CVPR), 第 2744–2753 页, 2021。

[35] Sharath Adavanne, Archontis Politis, Joonas Nikunen, 和 Tuomas Virtanen。使用卷积循环神经网络进行重叠声源的事件定位与检测。IEEE 精选信号处理期刊, 13(1):34–48, 2018。

[36] David Diaz-Guerra, Antonio Miguel, 和 Jose R Beltran。使用 SRP-PHAT 和 3D 卷积神经网络进行鲁棒声源跟踪。IEEE/ACM 音频、语音和语言处理汇刊, 29:300–311, 2020。

[37] Zhisheng Zheng, Puyuan Peng, Ziyang Ma, Xie Chen, Eunsol Choi, 和 David Harwath。Bat: 利用大语言模型学习对空间声音的推理。国际机器学习会议 (ICML), 2024。

[38] Bhavika Suresh Devnani, Skyler Seto, Zakaria Aldeneh, Alessandro Toso, YELENA MENYAYLENKO, Barry-John Theobald, Jonathan Sheaffer, 和 Miguel Sarabia。学习空间感知的语言与音频嵌入。在神经信息处理系统第 38 届年度会议 (NeurIPS), 2024。

[39] Artem Dementyev, Wazeer Zulfikar, Sinan Hersek, Pascal Getreuer, Anurag Kumar, 和 Vivek Kumar。Phasecoder: 面向多模态大语言模型的麦克风几何无关空间音频理解, 2026。

[40] Hyeonggon Ryu, Joon Son Chung, 和 David Harwath。Hear you are: 通过视觉和空间声音教授大语言模型空间推理。在 IEEE/CVF 计算机视觉与模式识别会议论文集 (CVPR), 第 38606–38615 页, 2026。

[41] Aaron van den Oord, Yazhe Li, 和 Oriol Vinyals。利用对比预测编码进行表示学习。arXiv 预印本 arXiv:1807.03748, 2018。

[42] Harold W. Kuhn。分配问题的匈牙利方法。海军研究物流 (NRL), 52, 1955。

[43] Chris Dongjoo Kim, Byeongchang Kim, Hyunmin Lee, 和 Gunhee Kim。Audiocaps: 为野外音频生成字幕。在 NAACL-HLT, 2019。

[44] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, 和 C Lawrence Zitnick。Microsoft coco: 上下文中的常见对象。在欧洲计算机视觉会议论文集, 第 740–755 页。Springer, 2014。

13

第 14 页

[45] Gheorghe Comanici, Eric Bieber, Mike Schaekermann, Ice Pasupat, Noveen Sachdeva, Inderjit Dhillon, Marcel Blistein, Ori Ram, Dan Zhang, Evan Rosen, 等人。Gemini 2.5：通过高级推理、多模态、长上下文和下一代代理能力推动前沿。arXiv 预印本 arXiv:2507.06261，2025。

[46] Huadai Liu, Tianyi Luo, Qikai Jiang, Kaicheng Luo, Peiwen Sun, Jialei Wan, Rongjie Huang, Qian Chen, Wen Wang, Xiangtai Li, Shiliang Zhang, Zhijie Yan, Zhou Zhao, 和 Wei Xue。 Omniaudio：从 360 度视频生成空间音频。ArXiv，abs/2504.14906，2025。

[47] Chao Huang, Yapeng Tian, Anurag Kumar, 和 Chenliang Xu。自我中心音频-视觉对象定位。在 IEEE/CVF 计算机视觉与模式识别会议论文集，第 22910–22921 页，2023。

[48] Arda Senocak, Tae-Hyun Oh, Junsik Kim, Ming-Hsuan Yang, 和 In So Kweon。学习在视觉场景中定位声源。在 IEEE 计算机视觉与模式识别会议论文集，第 4358–4366 页，2018。

[49] Sizhe Li, Yapeng Tian, 和 Chenliang Xu。用于视频中发声对象定位的时空记忆网络。arXiv 预印本 arXiv:2111.05526，2021。

[50] Honglie Chen, Weidi Xie, Triantafyllos Afouras, Arsha Nagrani, Andrea Vedaldi, 和 Andrew Zisserman。以困难方式定位视觉声音。在 IEEE/CVF 计算机视觉与模式识别会议论文集，第 16867–16876 页，2021。

[51] Zengjie Song, Yuxi Wang, Junsong Fan, Tieniu Tan, 和 Zhaoxiang Zhang。自监督预测学习：视觉场景中声源定位的一种无负方法。在 IEEE/CVF 计算机视觉与模式识别会议论文集，第 3222–3231 页，2022。

[52] Xixi Hu, Ziyang Chen, 和 Andrew Owens。混合与定位：在混合信号中定位声源。在 IEEE/CVF 计算机视觉与模式识别会议论文集，第 10483–10492 页，2022。

[53] Hyeonggon Ryu, Seongyu Kim, Joon Son Chung, 和 Arda Senocak。看见言语与声音：区分和定位视觉场景中的音频源。在 IEEE/CVF 计算机视觉与模式识别会议论文集，第 13540–13549 页，2025。

[54] Shawn Hershey, Sourish Chaudhuri, Daniel PW Ellis, Jort F Gemmeke, Aren Jansen, R Chan- ning Moore, Manoj Plakal, Devin Platt, Rif A Saurous, Bryan Seybold, 等人。用于大规模音频分类的 CNN 架构。在 2017 年 IEEE 声学、语音和信号处理国际会议 (icassp)，第 131–135 页。IEEE，2017。

[55] Bill Gardner 和 Keith Martin。KEMAR 假人头麦克风的 HRTF 测量。1994。

14

第 15 页

A 附录概述

在本附录中，我们提供了补充细节和分析，以补充正文内容。

• 数据集构建（第 B 节）：我们描述了数据来源、标注流程、验证过程、平衡策略以及基准统计数据。
• 实现细节（第 C 节）：我们提供了 SceneBind 的架构、训练以及推理时匹配的细节。
• 基线微调（第 D 节）：我们描述了在相同数据和基准设置下如何训练和评估检索基线。
• 零样本音频-视觉定位细节（第 E 节）：我们详述了零样本音频-视觉定位的流程和评估协议。
• 更多定性结果分析（第 F 节）：我们提供了 SceneBind 的语义-空间检索和定位行为的额外比较和分析。
• 局限性与未来工作（第 G 节）：我们讨论了当前的局限性和未来的研究方向。
• 更广泛的影响（第 H 节）：我们讨论了 SceneBind 潜在的社會影响及保障措施。

我们还在网页上提供了一个交互式定性查看器，用于跨模态检索和对象定位。它涵盖了所有六种场景检索方向，并展示了带有图像、双耳音频和文本标注的查询样本和检索样本。我们建议对音频示例使用空间音频播放。详细信息和分析见第 F 节。

B 数据集构建

SceneBind 在具有对齐的语义和空间标注的野外音频-视觉数据上进行训练和评估。为了支持语义-空间学习，我们从多个现实世界来源整理数据，并将其转换为统一格式，包含配对的音频-视觉样本、对象级文本子句和空间标签。本节提供了数据集构建过程的详细信息，包括用于训练和评估的数据来源、处理流程和标注程序。

B.1 数据来源

双耳数据集。我们从公开平台上的野外双耳音频视频构建双耳训练语料库。每个视频被裁剪为样本，其中每个样本包含一个 2 秒的双耳片段、一个代表性图像帧以及带有语义和空间描述的事件标注。该语料库旨在支持从野外场景中进行全模态空间学习。

Sphere360 数据集。我们 additionally 从 YouTube 360◦视频（带有高阶球面谐波（FOA）音频 [46]）构建 Sphere360 子集。其 360◦覆盖范围和 FOA 音频使得能够从任意听众方向渲染每个场景，从而为每个查询样本生成空间增强的候选池。在我们的实验设置中，Sphere360 仅作为零样本评估基准，其中候选样本共享相同的语义但在空间配置上有所不同，旨在测试模型在语义歧义下区分细粒度空间结构的能力。

15

第 16 页

图 6：Binaural 数据集中场景标签和语义事件簇的长尾分布。 顶行展示了在计数对数坐标轴上的场景标签和语义簇的秩-频率曲线。底行报告了出现频率最高的 20 个场景标签和语义簇。场景标签涵盖城市、交通、表演和户外环境，而语义簇则包括音乐、人体运动、车辆和环境事件。这种分布表明，精心策划的数据包含多样化的真实世界场景以及广泛的声音产生对象和动作。

B.2 流程

我们使用多阶段流程构建双耳训练数据，该流程旨在从源双耳视频语料库中识别具有合理空间标注的视听事件。流程始于源野外视频，过滤出可用的双耳音频和非 360 度内容，选择多样化的 10 秒候选窗口，标注 2 秒事件片段，使用独立编码器验证视听接地（audio-visual grounding），最后应用数据平衡和人工审查。图 7 总结了由此产生的数据漏斗。

图 7：双耳数据构建漏斗。该流程过滤源视频，选择多样化的候选窗口，标注短事件片段，验证视听接地，并应用数据平衡以生成发布的训练集。

16

第 17 页

具体而言，从 21,927 个源视频开始，该流水线在视频级过滤后保留 18,724 个视频，通过逐片段评分和贝叶斯高斯混合模型（BayesGMM）多样性选择，从 8,015 个视频中选取 83,955 个候选 10 秒窗口，标注 381,556 个候选 2 秒事件窗口，验证 70,440 个至少包含一个视听事件的片段，并在空间平衡后生成 56,947 个片段。

候选构建。对于双耳语料库，我们首先获取视频元数据，并保留满足确定性质量检查的视频：横向方向、宽度至少 1920 像素或高度至少 1080 像素、有效的双耳音频状态以及非 360 度投影。每个保留的视频随后被划分为 2 秒的短候选窗口，并使用来自预训练视听模型和双耳音频统计信息的三个互补信号进行评分。首先，VGGish [54] 特征衡量声学信息量，用于过滤掉无信息的音频簇。其次，ImageBind [8] 衡量视听对齐程度，保留音频和视觉嵌入足够相似的片段。第三，双耳线索强度是从频率加权的通道间电平差和通道间相干性中估计的。我们保留通过声学簇过滤器、具有强视听对齐且包含可靠双耳线索的候选片段。接受的短片段随后被分组为 10 秒的标注窗口，以保留后续事件标注和验证的时间上下文。

Sphere360 的候选构建是确定性的。我们根据其元数据将每个 360◦ 片段识别为等距柱状投影（Equirectangular）或等角立方体映射（Equi-Angular Cubemap, EAC），并以 90◦ 的方位角间隔、零俯仰角和 90◦ 视场渲染四个透视视图。对于每个视图，我们通过将一阶 ambisonic 信号旋转到视图方向并使用 MIT KEMAR HRTF [55] 对其进行解码，生成相应的双耳音频以获得立体声音频。这产生了具有已知相对观看方向的对齐视听样本。

标注。对于双耳视频候选项，我们使用 Gemini [45] 从每个采样率为 2 fps 的 10 秒视频窗口生成初始事件提议。虽然 Gemini 不直接感知双耳空间线索，但它提供了强大的视觉识别和时序视听事件理解能力。我们引导它识别可听事件，在可能时将其与可见实体关联，并从视觉证据中估计相应的相机坐标系空间标签。提示要求提供原子 1–2 秒的事件，将每个事件分配给三种模态类型之一（audio_visual、audio_only 或 visual_only），并返回包含方位角、俯仰角和距离标注的模式约束 JSON。这为每个短事件窗口生成了合理的空间标注，随后通过跨模态验证和空间平衡进行过滤。具体而言，我们在相机坐标系中定义空间标签。方位角使用七个粗略的方向区域：硬左 [−90◦, −60◦)、左 [−60◦, −30◦)、微左 [−30◦, −15◦)、前 [−15◦, 15◦]、微右 (15◦, 30◦]、右 (30◦, 60◦] 和硬右 (60◦, 90◦]。俯仰角使用五个垂直区域：高上方 [30◦, 90◦]、上方 [10◦, 30◦)、水平 [−10◦, 10◦]、下方 [−30◦, −10◦) 和低下方 [−90◦, −30◦)。距离标注为四个范围：接触/非常近 [0, 1.5) 米、近 [1.5, 5) 米、中 [5, 10) 米、远 [10, ∞) 米。我们以温度 0 确定性运行 Gemini。双耳子集的完整提示如图 8 所示。

对于 Sphere360，我们使用三轮协议以确保标注考虑多种可能的观看方向。1) 在第一轮中，Gemini 使用如图 8 所示的一致提示独立标注四个基本视图，并识别具有最强视听对应关系的主要视图。2) 在第二轮中，使用围绕主要视图的五个辅助邻域视图（偏航偏移为 {0◦, ±30◦, ±60◦}）重新审视每个候选事件。我们将第一轮标注与邻域视图输入 Gemini，以确认或修订这些视角下的每个事件。3) 在第三轮中，我们合并同一事件的跨视图标注，保留其视图将事件置于最接近正面方向（即绝对方位角最小）的条目。然后，可以通过根据每个视图方向更新其相对方位角，将合并后的事件传播到渲染视图。这产生了增强的视听样本，在 360 度视图上具有一致的语义标签和视图依赖的空间标注。

第 18 页

使用 AUDIO（音频）和 VISUAL（视觉）线索分析提供的 10 秒片段。 您的目标是识别视听事件，其中可见物体产生明显同步的声音，并按负责该声音的物理物体进行分组。 然后，为了提供完整的场景上下文，枚举性地识别在视听事件相同时间戳下存在的纯视觉和纯音频物体。

1. 事件模态约束

• audio_only（纯音频）：如果你能听到该物体，但它不在视野范围内。
• visual_only（纯视觉）：如果可见，但它是无声的或与任何声音不同步。
• audio_visual（视听）：如果可见，且声音与其运动明显同步，并且存在强烈的视听对应关系。要求高精度。

2. 标注规则（严格）

• 时间戳：必须相对于片段起始时间（0秒至10秒）。
• 持续时间约束：事件必须是短暂的原子实例。持续时间必须恰好为 1 或 2 秒。
• 正确格式：[1,3)，或 [2,3) 相对于片段起始；错误格式：[00:01:21-00:01:23) 绝对视频时间戳。
• 分割规则：如果事件持续时间超过 2 秒，请将其拆分为多个事件；对于每次分割，请考虑事件标注、角度和距离，且不受先前或后续分割的任何偏见影响。
• 对于 audio_visual 事件：如有疑问，请将其排除。假阳性比假阴性糟糕得多。
• 有效持续时间：当该 1 或 2 秒期间至少存在一个有效的 audio_visual 事件时；仅在持续时间有效时标注 audio_only 或 visual_only 事件。
• 对于 visual_only 和 audio_only 事件：在有效持续时间内尽可能进行枚举。

3. 空间定义（相机坐标系） 方位角（水平）：中心为 0 度；负值为左；正值为右。

• Hard Left（极左）：[-90, -60)
• Left（左）：[-60, -30)
• Slight Left（微左）：[-30, -15)
• Front（前）：[-15, 15]
• Slight Right（微右）：(15, 30]
• Right（右）：(30, 60]
• Hard Right（极右）：(60, 90]

仰角（垂直）：水平为 0 度；负值为下；正值为上。

• High Above（高上方）：[30, 90]
• Above（上方）：[10, 30)
• Level（水平）：[-10, 10]
• Below（下方）：[-30, -10)
• Down Below（低下方）：[-90, -30)

4. 字段描述

• semantic_tag（语义标签）：事件的简洁语义标签，例如，“汽车鸣笛”、“弹钢琴”。
• semantic_anno（语义标注，6 到 8 个词）：描述物体正在做什么/处于什么状态。严格禁止：方向性词汇。
• spatial_anno（空间标注，约 8 个词）：描述物体在哪里。严格禁止：命名物体、复杂动作。
• combined_anno（组合标注，约 16 个词）：自然地综合语义和空间细节。
• reason（理由）：基于音频和视觉线索，提供你对时间戳、semantic_tag、方向、高度和距离估算的推理依据。

图 8：通过 Gemini 对双耳音频进行视听事件和空间标注的提示。

18

第 19 页

验证与平衡。Gemini 提供了有用的事件提议，但其视听关联和空间估计可能存在噪声。为了减轻幻觉，我们增加了一个额外的验证阶段，仅保留那些语义和空间注释同时得到视觉帧和音频片段支持的短窗口。此步骤过滤掉幻觉事件，将部分支持的事件降级为适当的模态类型，并平衡最终数据的空间分布。

表 8：独立 ImageBind (IB) 和 CLAP 验证后的事件处置。 模态 阈值通过情况 结果

视听 ImageBind & CLAP 保留 AV 视听 ImageBind 降级为 VO 视听 CLAP 降级为 AO 视听 均未通过 丢弃 仅音频 CLAP 保留 AO 仅音频 失败 丢弃 仅视觉 ImageBind 保留 VO 仅视觉 失败 丢弃

每个标注事件都使用与 Gemini 无关的预训练基础模型进行验证。具体而言，我们计算 ImageBind 帧-文本得分 $s_{IB}^{v \to t}$ 和 CLAP [6, 7] 音频-文本得分 $s_{CLAP}^{a \to t}$。只有当两项检查均通过时（$s_{IB}^{v \to t} \ge 0.10$ 且 $s_{CLAP}^{a \to t} \ge 0.05$），视听事件才会被保留为视听事件。如果仅通过视觉检查，该事件将被降级为仅视觉；如果仅通过音频检查，则降级为仅音频；如果均未通过，则将其丢弃。我们在表 8 中总结了针对不同原始标注模态的验证规则。

验证后，我们从每个 10 秒候选片段中选择具有最强验证事件证据的最佳 2 秒事件窗口，然后通过最大化与验证后的视听事件标签的 ImageBind 对齐度，在该窗口内选择代表性帧。我们将选定的带有事件和空间注释的 2 秒音频及其配对图像定义为片段（clip）。这产生了 70,440 个至少包含一个受支持的视听事件的验证片段。对于双耳数据集，为了减少面向前方的偏差，我们将主要视听事件位于方位角 = 0° 的片段以 50% 的保留率进行下采样。这种空间平衡产生了发布的 56,947 个片段的双耳训练集，产生了如图 9 所示的更均匀的方向分布，并阻止模型依赖前中心捷径。Sphere360 不使用空间平衡步骤，因为其 360° 多视图增强已经覆盖了所有方向。

图 9：每个片段的主要视听事件的方位角分布，空间平衡前（70,440 个片段）和空间平衡后（56,947 个片段）。空间平衡以 50% 的保留率对方位角 = 0° 的 bin 进行下采样，从而产生更均匀的方向分布。

然后，我们在视频级别创建训练集、验证集和测试集，比例为 80%/5%/15%，并按通道和语义簇进行分层，以减少训练-测试泄漏。具体针对训练集，我们进一步平衡训练片段，以减少场景环境标签、事件标签和

19

第 20 页

YouTube 频道，提升多样性。经过这种多样性平衡后，最终训练集包含 38,430 个双耳音频片段。

B.3 人工验证与界面

我们为双耳基准测试和零样本 Sphere360 基准测试增加了人工审核环节。四名审核员检查候选测试片段，并移除内容模糊、视听对应关系弱、空间标签不准确或场景高度重复的示例。在可能的情况下，审核员会修正轻微的空间标签错误。这一步骤通过保留具有有意义事件和可靠语义-空间标注的片段，提高了基准测试的可靠性。

审核界面。我们构建了一个用于片段级检查的审核界面（图 10）。该界面展示代表性图像、双耳音频、场景描述、对象子句以及相关的空间标签。审核员利用它来验证视听对应关系、评估样本质量、丢弃无效示例，并在需要时修正空间标注。每位审核员独立工作，审核后的标签在后端同步并合并到最终的基准测试标注中。

图 10：用于审查候选基准测试片段的人工验证界面。它允许审核员检查代表性图像、双耳音频、场景描述、对象子句和空间标签，然后在需要时丢弃无效样本或修正标注。

审核指南。审核员首先决定是否保留候选片段。如果片段不符合以下三个标准中的任何一个，则将其丢弃：1) 相关性弱，即音频、视觉证据和语义描述未描述同一事件；2) 对象或事件模糊，即标注无法解析为片段中清晰、唯一且非平凡的实体；或 3) 样本质量低，例如图像不清晰、音频噪声过大或缺乏有意义的事件。

20

第 21 页

对于通过该片段级检查的片段，评审人员随后会检查每个标注对象。如果语义标注正确且对象具有有意义的空间属性，评审人员将验证并在必要时修正其方位角、仰角和距离标签。如果对象在语义上无效、空间上无意义或无法唯一识别，则应从片段中移除。

我们要求评审人员为保留对象的每个对象分配一个质量标签。“Strong”表示音频、视觉证据、语义和空间标注明显一致，并描述了一个有意义的对象或事件。“Medium”表示标注基本一致，但包含细微的歧义或不确定性。

最后，评审人员移除近重复片段。当多个片段在图像、音频或文本中显示几乎相同的场景实例时，我们仅保留一个片段，优先选择事件更清晰、对象质量更高、语义-空间多样性更大的样本。

B.4 最终基准详情

经过人工验证后，我们从验证后的片段中编译了两个评估基准：双耳基准（binaural benchmark）和 Sphere360 基准。本节总结了用于评估的最终划分统计数据和查询池构建方法。

双耳场景检索。双耳基准总共包含 1,066 个片段。对于场景级检索，池大小可能因模态而异，因为某些片段并不包含每种模态的有效对象。音频-视觉池包含 1,040 个配对样本，而音频-文本和视觉-文本检索池分别包含 942 和 1,046 个片段。

对于通用音频-视觉检索，所有配对的音频-视觉样本均用作查询。对于基于文本的场景检索，我们关注非平凡的前景查询：音频-文本查询需要多于一个音频相关对象，即音频-视觉对象加上纯音频对象；视觉-文本查询需要多于一个视觉相关对象，即音频-视觉对象加上纯视觉对象。这种过滤避免了退化的单对象场景，其中文本查询无法测试对象级的消歧。因此，生成的基准包含 1040 个音频-视觉场景查询、325 个音频-文本场景查询和 757 个视觉-文本场景查询。

双耳空间检索。双耳空间检索使用对象级文本查询。从音频相关和视觉相关的对象标注开始，仅当语义簇形成有效的硬池（hard pool）时才保留查询：该池必须至少包含一个具有匹配量化方位角、仰角和距离标签的样本，且其大小必须落在预定义范围内（例如 [5, 20]）。这产生了 745 个音频相关查询和 782 个视觉相关查询，共计 1,527 个查询。

空间 mAP 使用联合语义-空间对象得分，像场景检索任务一样对来自完整检索池的候选者进行排序，并将具有匹配量化空间标签的样本视为正样本。Spatial-hard R@1 在更难的设置下评估相同的查询：每个查询仅在其同簇的硬池内进行排序，该硬池在每个唯一空间箱中最多包含一个样本。保留的硬池整体平均大小为 11.75，中位数为 10。

双耳对象定位。对象定位评估模型预测的对象中心槽（object-centric slots）与 1,066 个双耳片段中所有模态相关标注的匹配情况。该基准包括来自音频-视觉和纯音频对象的 1,386 个音频相关目标，以及来自音频-视觉和纯视觉对象的 2,682 个视觉相关目标。

Sphere360 检索。Sphere360 硬基准评估当对象共享相似语义但出现在不同观察方向时的空间消歧能力。该划分包含 97 个片段和 4,277 个标注对象，其中包括 553 个音频-视觉对象。查询对象限制为方位角在 [−90◦, 90◦] 内的正面示例，而候选池则来自增强的 360 度视图。每个查询的候选池平均大小为 45.4，中位数为 47。

C SceneBind 实现细节

C.1 SceneBind 编码模型

视觉和文本编码器。我们使用冻结的 SigLIP2 [5] 视觉主干作为视觉特征提取器。对于每一帧，主干在 1152 维嵌入空间中生成 256 个补丁令牌，

21

第 22 页

作为视觉上下文令牌。在训练过程中，我们应用水平翻转增强，使用相应的翻转视觉特征并镜像方位角标签。

对于文本编码，我们使用相同 SigLIP2 模型的冻结文本塔。我们编码两种类型的文本监督。首先，场景描述被编码为单个全局 1152 维文本嵌入，用于监督全局语义对齐。其次，每个对象子句被独立编码为 1152 维语义嵌入，用于与音频和视觉对象槽进行匹配。每个对象子句还关联空间标签 $r_k = (\theta_k, \phi_k, d_k)$，表示为离散化的方位角、仰角和距离箱上的独热目标。

音频语义编码器。双耳波形作为双通道信号加载，并填充或裁剪至固定音频窗口。对于语义音频编码，我们对两个通道取平均以获得单声道波形，并将其重采样至 16 kHz。冻结的 M2D-CLAP 音频编码器 [7] 提取一系列 768 维音频补丁令牌。然后，我们使用残差 MLP 对齐模块将这些令牌投影到 1152 维 SigLIP2 嵌入空间。该对齐模块包含五个隐藏宽度为 1024 且带有 LayerNorm/GELU 非线性的残差块。它在双耳训练字幕上预训练以对齐 M2D-CLAP 音频特征与 SigLIP2 文本特征，并且在 SceneBind 训练期间，M2D 主干网络和该对齐模块均保持冻结。对齐后，每个 10 秒音频窗口的语义音频表示形状为 $310 \times 1152$。这 310 个令牌对应于 M2D log-mel 表示上的 $5 \times 62$ 谱时补丁网格，包含 5 个频率补丁和 62 个时间补丁。

音频空间编码器。对于空间音频编码，我们使用原始双耳波形。双耳信号被重采样至 16 kHz，并转换为四通道时频表示，该表示由 FFT 大小为 1024、步长为 512 的 STFT 产生的左/右幅度和相位特征组成。卷积前端使用三个卷积块处理此表示。每个块使用 3×3 卷积、64 个输出通道、ReLU、批归一化以及频率轴上的最大池化。SceneBind 使用所得的卷积特征图作为空间补丁表示。由于前端作用于与 M2D 补丁网格未对齐的 STFT 频率网格，我们对剩余频率维度取平均，以获得具有频率聚合空间线索的 64 维双耳特征时间序列。每个特征被投影到共享的 1152 维空间，并线性插值至长度 310，形成与展平的 M2D 语义令牌序列匹配的空间音频令牌。

语义解码器。对于每种模态，SceneBind 使用基于查询的语义解码器。我们初始化一个可学习的全局查询和 $K = 50$ 个可学习的对象查询。一层 Transformer 解码器使这些可学习查询对模态特定的语义上下文令牌进行交叉注意力计算。全局查询输出用作全局语义嵌入，而对象查询输出定义预测对象槽的语义嵌入。每个对象槽还通过一个置信度头，产生 $[0, 1]$ 范围内的分数，指示该槽是否对应于活动对象。令 $H_m$ 表示模态 $m$ 的语义上下文令牌，令 $Q = [q_{\text{global}}, q_1, \dots, q_K]$ 表示可学习的解码器查询。语义解码器计算 $$ [s^m_{\text{global}}, s^m_1, \dots, s^m_K] = \text{Dec}_{\text{sem}}(Q; H_m), $$ 其中 $s^m_{\text{global}}$ 是全局嵌入，$s^m_i$ 是对象槽 $i$ 的语义嵌入。

空间解码器。空间解码器通过在其语义嵌入上条件化模态特定的空间证据，预测每个对象槽的空间属性。其输出通过共享的空间投影头和方位角、仰角及距离的分类器。分类器分别在 7、5 和 4 个箱（定义见附录 B.2）上产生分布 $\pi^m_{\theta_i}$、$\pi^m_{\phi_i}$ 和 $\pi^m_{d_i}$；它们的 argmax 箱形成 $\hat{r}^m_i = (\hat{\theta}^m_i, \hat{\phi}^m_i, \hat{d}^m_i)$（定义见附录 B.2）。 对于视觉分支，语义对象槽用作解码器查询，而来自视觉编码器的视觉上下文令牌用作记忆： $$ h^v_i = \text{Dec}_{\text{spa}}(s^v_i; H_v), \quad \hat{r}^v_i = g_{\text{spa}}(h^v_i), $$ 其中 $h^v_i$ 是解码的空间特征，$g_{\text{spa}}$ 表示共享的空间头。 对于音频分支，语义对象槽再次用作解码器查询。解码器记忆是通过将语义音频令牌和长度对齐的空间音频令牌相加获得的融合音频上下文： $$ H^{\text{fused}}_a = H^{\text{sem}}_a + \tilde{H}^{\text{spatial}}_a, \quad h^a_i = \text{Dec}_{\text{spa}}(s^a_i; H^{\text{fused}}_a), \quad \hat{r}^a_i = g_{\text{spa}}(h^a_i). $$

22

第 23 页

因此，语义槽首先形成对象级假设，随后空间解码器为每个假设对象检索视觉或空间音频证据。这使得 SceneBind 能够处理场景中可变数量的对象或事件。

C.2 训练目标细节

我们使用全局级语义对齐、对象中心语义-空间接地以及跨模态语义-空间对比损失的组合来训练 SceneBind。

全局对齐。场景级对齐通过成对模态之间的对称 InfoNCE [41] 损失进行训练。令 $S_{m}^{\text{global}} \in \mathbb{R}^{B \times d}$ 表示模态 $m$ 的批堆叠归一化全局嵌入。对于成对模态 $m$ 和 $n$，我们计算

$$ \mathcal{L}_{m,n}^{\text{global}} = \text{CE}\left(\frac{S_{m}^{\text{global}}(S_{n}^{\text{global}})^\top}{\tau}, I\right) + \text{CE}\left(\frac{S_{n}^{\text{global}}(S_{m}^{\text{global}})^\top}{\tau}, I\right), \quad \tau = 0.07. $$

只要存在成对样本级监督，就应用此损失。对于文本，全局对齐使用场景描述嵌入。

对象接地监督。通过二分匹配将真实对象子句分配给预测的对象槽后，我们根据第 3.3 节定义的语义、置信度和空间损失对每个匹配槽进行监督。语义损失是预测槽嵌入与匹配对象子句嵌入之间的余弦距离损失。置信度损失是二元交叉熵，其中匹配槽被视为正样本，未匹配槽被视为负样本。空间属性通过离散化的方位角、仰角和距离箱上的高斯平滑交叉熵进行监督。我们对方位角使用 $\sigma = 1.0$ 的圆形平滑，对仰角和距离使用 $\sigma = 0.5$ 的非圆形平滑。

场景内对比损失 $\mathcal{L}_{\text{inst}}$。对于音频-视觉对，首先将两个模态的槽匹配到相同的真实对象子句。共匹配的槽对被视为场景内的正样本。如果存在多个对象，我们对共匹配的音频和视觉槽应用对称对比损失，使得每个对象在其对应模态中与其配对对象最接近。音频-文本和视觉-文本接地也遵循相同原则：与对象匹配的模态槽被视为与相应对象子句文本嵌入的正样本对，而同一场景中的其他子句则作为负样本。如果只有一个对象被共匹配，则损失简化为成对余弦对齐。

跨场景对比损失 $\mathcal{L}_{\text{batch}}$。为了提高跨场景的对象级判别能力，SceneBind 对匹配到真实对象子句的槽应用基于批次的槽对比损失。对于音频-视觉训练，独立匹配到相同真实对象的音频和视觉槽形成正样本对。我们对语义槽和空间头嵌入应用对称 InfoNCE：

$$ \mathcal{L}_{a,v}^{\text{batch}} = \mathcal{L}_{\text{NCE}}(s_a, s_v) + \mathcal{L}_{\text{NCE}}(u_{a,\theta}, u_{v,\theta}) + 2\mathcal{L}_{\text{NCE}}(u_{a,\phi}, u_{v,\phi}) + 2\mathcal{L}_{\text{NCE}}(u_{a,d}, u_{v,d}), $$

其中 $u_\theta, u_\phi$ 和 $u_d$ 是最终分类器之前的归一化空间头嵌入。

对于音频-文本和视觉-文本对，跨场景对比损失仅涉及语义，因为文本子句不提供学习到的空间头特征：

$$ \mathcal{L}_{a,t}^{\text{batch}} = \mathcal{L}_{\text{NCE}}(s_a, s_t), \quad \mathcal{L}_{v,t}^{\text{batch}} = \mathcal{L}_{\text{NCE}}(s_v, s_t). $$

总损失。最终目标是上述损失的加权和。表 9 总结了主训练设置中使用的损失项和权重。

C.3 训练阶段与数据配方

SceneBind 分两个阶段训练。阶段 1 从混合监督中学习共享的音频-视觉-文本空间，而阶段 2 则在双耳音频数据集上专门化模型。

阶段 1。阶段 1 使用三个数据源训练 30 个 epoch：双耳音频场景数据集、AudioCaps [43] 和 MS-COCO [44]。数据集采样遵循

$$ p_i \propto n_i^{0.5} w_i, $$

23

第 24 页

表 9：主 SceneBind 训练设置中使用的损失权重。

| 类别 | 损失项 | 权重 | | :— | :— | :— | | 对象定位 | 语义定位 $L_{sem}$ | 1.0 | | 对象定位 | 置信度 $L_{conf}$ | 2.0 | | 对象定位 | 方位角 $L_{\theta}$ | 1.0 | | 对象定位 | 仰角 $L_{\phi}$ | 0.5 | | 对象定位 | 距离 $L_{d}$ | 0.5 | | 全局对齐 | 音频-视觉 $L_{a,v}^{global}$ | 2.0 | | 全局对齐 | 音频-文本 $L_{a,t}^{global}$ | 1.0 | | 全局对齐 | 视觉-文本 $L_{v,t}^{global}$ | 1.0 | | 场景内对比 | 音频-视觉 $L_{a,v}^{inst}$ | 1.0 | | 场景内对比 | 音频-文本 $L_{a,t}^{inst}$ | 1.0 | | 场景内对比 | 视觉-文本 $L_{v,t}^{inst}$ | 0.5 | | 跨场景对比 | 音频-视觉 $L_{a,v}^{batch}$ | 2.0 | | 跨场景对比 | 音频-文本 $L_{a,t}^{batch}$ | 0.5 | | 跨场景对比 | 视觉-文本 $L_{v,t}^{batch}$ | 0.5 |

其中 $n_i$ 是数据集大小，$w_i$ 是数据集权重。配对的双耳音频数据获得最大权重，因为它们提供了完整空间定位的音频-视觉信号。AudioCaps 提供音频-文本语义监督，MS-COCO 提供视觉-文本语义监督及部分空间标签，其中仅使用方位角和仰角监督。

阶段 2。阶段 2 从阶段 1 的模型权重初始化，重置优化器，并仅使用配对的双耳音频场景数据集再训练 30 个 epoch。

优化与计算。两个阶段均使用 AdamW，权重衰减为 0.01，余弦学习率衰减，并在范数为 1.0 时进行梯度裁剪。阶段 1 使用学习率 $10^{-4}$，200 个预热步骤，全局批次大小为 1024。阶段 2 使用学习率 $5 \times 10^{-5}$，100 个预热步骤，全局批次大小为 512。报告的运行是在一个拥有 8 块 NVIDIA H200 GPU 的节点上训练的，每块 GPU 拥有 140GB 内存。每个 GPU 进程使用 8 个数据加载工作进程，在此设置下，两阶段运行大约耗时 4 个墙钟小时。

表 10：训练数据配方和活跃监督。$n_i$ 是源数据集大小，$w_i$ 是数据集权重。

| 阶段 | 数据源 | $n_i$ | $w_i$ | 采样比例 | 活跃监督 | | :— | :— | :— | :— | :— | :— | | 1 | 双耳音频场景 | 38,430 | 2.0 | 54.8% | $L_{global}, L_{sem}, L_{conf}, L_{\theta,\phi,d}, L_{inst}, L_{batch}$ | | 1 | AudioCaps | 91,254 | 0.5 | 21.1% | $L_{global}, L_{sem}, L_{conf}$ | | 1 | MS-COCO | 118,248 | 0.5 | 24.1% | $L_{global}, L_{sem}, L_{conf}, L_{\theta,\phi}$ | | 2 | 双耳音频场景 | 38,430 | 1.0 | 100.0% | $L_{global}, L_{sem}, L_{conf}, L_{\theta,\phi,d}, L_{inst}, L_{batch}$ |

C.4 SceneBind 匹配细节

在推理时，来自模态 $m$ 的每个样本由 $X^m$ 表示，其中包含一个全局语义嵌入和一组对象中心槽（对象中心的语义-空间槽）。我们首先应用置信度门控，保留置信度高于 0.05 的槽作为活跃槽。如果没有槽通过门控，则保留置信度最高的槽。SceneBind 匹配随后计算两个互补分数：来自全局嵌入之间余弦相似度的全局分数 $S_{global}$，以及来自配对场景的匹配对象中心槽的对象中心分数 $S_{obj}$。我们提出了不同的策略，将这些分数用于不同的任务，如场景检索、空间检索和对象定位。

对象槽分数。给定查询场景 $q$ 和候选场景 $x$，我们使用语义-空间分数比较每个活跃查询槽 $i$ 与每个活跃候选槽 $j$：

$$ R_{ij}(q, x) = \cos(s_{qi}, s_{xj}) \cdot \rho_{ij}, $$

24

第 25 页

其中 $s_{qi}$ 和 $s_{xj}$ 是两个槽的语义嵌入。空间项为 $$ \rho_{ij} = \frac{2\langle \pi_{q,\theta_i}, \pi_{x,\theta_j} \rangle + \langle \pi_{q,\phi_i}, \pi_{x,\phi_j} \rangle + \langle \pi_{q,d_i}, \pi_{x,d_j} \rangle}{4}. $$ 这里 $\pi_\theta$、$\pi_\phi$ 和 $\pi_d$ 分别表示方位角、仰角和距离分箱上的 softmax 归一化概率分布。内积衡量沿每个空间轴上的分布一致性，其中方位角被赋予双倍权重，因为在我们的双耳音频设置中，水平方向是主要线索。

最佳匹配对象得分。在计算查询场景 $q$ 与候选场景 $x$ 之间的成对槽得分 $R_{ij}(q, x)$ 后，$q$ 中的每个活动查询槽从 $x$ 中选择具有最高置信度加权的语义-空间得分的候选槽： $$ j^\star_i = \arg \max_j w_{ij} R_{ij}(q, x), \quad w_{ij} = \sqrt{c_{qi} c_{xj}}, $$ 其中 $c_{qi}$ 和 $c_{xj}$ 分别是查询槽和候选槽的置信度得分，$w_{ij}$ 是它们的几何平均置信度。然后，我们将选定的匹配项聚合为一个对象中心样本得分： $$ S_{\text{obj}}(q, x) = \frac{\sum_i w_{i^\star_i} R_{i^\star_i}(q, x)}{\sum_i w_{i^\star_i} + \epsilon}, \quad \epsilon = 10^{-8}. $$ 这里的求和是对活动查询槽进行的，$j^\star_i$ 表示为查询槽 $i$ 选定的候选槽。置信度加权强调可靠的槽对，而独立的最佳匹配支持部分对象重叠和可变对象数量。

场景检索。对于场景检索，我们将全局嵌入得分与对象中心得分相结合。令 $S_{\text{global}}(q, x) = \cos(s_{q,\text{global}}, s_{x,\text{global}})$ 表示查询场景 $q$ 与候选场景 $x$ 之间的全局相似度。我们首先根据 $S_{\text{global}}$ 对候选项进行排序，并选择前 50 个候选项进行对象级重排序。对于每个查询，我们在候选集上对 $S_{\text{global}}$ 和 $S_{\text{obj}}$ 进行 min-max 归一化，记为 $\bar{S}_{\text{global}}$ 和 $\bar{S}_{\text{obj}}$。最终的场景相似度为 $$ S_{\text{scene}}(q, x) = \bar{S}_{\text{global}}(q, x) + \lambda_{\text{obj}} \bar{S}_{\text{obj}}(q, x), $$ 适用于前 50 个集合中的候选项，而所有其余候选项保留其全局得分。我们在音频-视觉检索中使用 $\lambda_{\text{obj}} = 0.05$，在文本相关检索中使用 $\lambda_{\text{obj}} = 0.5$，因为文本查询从对象级语义-空间匹配中受益更多。

空间检索。空间检索使用对象子句作为查询。文本查询提供方位角、仰角和距离的单热空间分布 $\pi_{t,\theta}$、$\pi_{t,\phi}$ 和 $\pi_{t,d}$。我们通过仅使用空间一致性对最佳活动槽对候选样本 $x$ 进行评分： $$ S_{\text{spa}}(t, x) = \max_j c_{xj} \cdot \frac{2\langle \pi_{t,\theta}, \pi_{x,\theta_j} \rangle + \langle \pi_{t,\phi}, \pi_{x,\phi_j} \rangle + \langle \pi_{t,d}, \pi_{x,d_j} \rangle}{4}, $$ 其中 $c_{xj}$ 是候选槽 $j$ 的置信度，$\pi_{x,\theta_j}$、$\pi_{x,\phi_j}$ 和 $\pi_{x,d_j}$ 是方位角、仰角和距离分箱上的 softmax 归一化预测分布。

对象定位。对于对象定位，查询是编码为文本嵌入 $s_t$ 的对象子句文本语义描述。我们首先对查询场景的预测槽应用相同的置信度门控，保留 $c_i > 0.05$ 的槽，如果没有槽通过，则回退到置信度最高的槽。在保留的槽中，我们选择语义-置信度得分最大的槽： $$ i^\star = \arg \max_i c_i \cos(s_i, s_t). $$ 如果选定槽的置信度低于 0.05 或语义相似度低于 0.5，则查询的对象被视为缺失。否则，我们取选定槽的方位角、仰角和距离 logits 的 argmax 作为预测的空间分箱，并将其与真实标签进行比较。

D 基线微调细节

我们在与 SceneBind 相同的数据源和划分上微调所有检索基线，遵循表 10。这使得所有方法都能访问相同的音频-视觉样本、场景描述和

25

第 26 页

表 11：全局嵌入基线模型的微调损失。全局损失对每个样本使用一个配对嵌入，而子句损失使用与该样本相关的所有有效的对象-子句嵌入。

| 损失项 | 监督来源 | 权重 | | :— | :— | :— | | $L_{a,v}^{global}$ | 配对音频和视觉样本嵌入 | 2.0 | | $L_{a,t}^{global}$ | 音频嵌入与场景描述文本嵌入 | 1.0 | | $L_{v,t}^{global}$ | 视觉嵌入与场景描述文本嵌入 | 1.0 | | $L_{a,t}^{clause}$ | 音频嵌入与对象-子句文本嵌入 | 0.5 | | $L_{v,t}^{clause}$ | 视觉嵌入与对象-子句文本嵌入 | 0.5 |

对象-子句标注。与 SceneBind 不同，基线模型对每个模态样本仅生成一个嵌入，且没有空间定位头，因此无法将空间属性作为独立的结构化标签进行监督。因此，我们将空间属性整合到对象-子句文本本身中，生成同时描述对象语义和空间位置的文本查询。此设置用于第 4.3 节中的所有基线模型。

训练目标。对于配对模态 $m$ 和 $n$，每个基线模型均使用与全局对齐相同的对称 InfoNCE 目标进行优化。只要存在相应的监督信息，我们就将此损失应用于音频-视觉、音频-文本和视觉-文本配对。由于基线模型对每个模态样本生成一个嵌入而非对象槽，我们通过多正样本 clip-to-subclause 对比损失利用对象-子句标注。

设 $s_b$ 为大小为 $B$ 的小批量中样本 $b$ 的归一化嵌入，$\{t_\ell\}_{\ell=1}^L$ 为小批量中所有归一化的对象-子句文本嵌入。我们用 $o(\ell)$ 表示拥有子句 $\ell$ 的样本。多正样本子句损失为

$$ \mathcal{L}_{clause} = -\frac{1}{2B} \sum_{b=1}^B \left[ \log \frac{\sum_{\ell: o(\ell)=b} \exp(s_b^\top t_\ell / \tau)}{\sum_{\ell=1}^L \exp(s_b^\top t_\ell / \tau)} + \text{CE}\left( \frac{S T^\top}{\tau}, o \right) \right], \quad \tau = 0.07. $$

这里 $S$ 堆叠了 $B$ 个样本嵌入，$T$ 堆叠了 $L$ 个子句嵌入，$o$ 为子句到样本的目标索引。第一项将每个样本拉向其自身的对象子句，而第二项将每个子句分配回其所属的样本。

子句损失将来自同一样本的所有对象子句视为对应样本嵌入的正样本，并将每个子句分配回其所属的样本。表 11 总结了基线模型的微调损失及其权重。因此，基线模型同时接收全局级别和对象-子句文本的监督，但不执行对象中心预测或空间解码。

ImageBind。对于 ImageBind [8]，我们使用预训练的 ImageBind 音频和图像编码器来获取音频和视觉嵌入。我们添加轻量级的可训练投影头，将这些嵌入映射到共享的检索空间。在标准的微调设置中，预训练骨干网络保持冻结，仅优化检索头。

M2D+SigLIP2。对于 M2D [7]+SigLIP2 [5]，音频使用预训练的 M2D-CLAP 音频编码器进行编码，视觉/文本特征使用 SigLIP2 进行编码。一个可训练的检索头将音频表示映射到与 SigLIP2 对齐的检索空间。在公平比较设置中，预训练的 M2D 骨干网络和音频到 SigLIP2 的对齐模块保持冻结，仅训练检索头。

SpatialCLAP+SigLIP2。对于 SpatialCLAP [10]+SigLIP2 [5]，双耳音频由预训练的 SpatialCLAP 音频编码器编码，而视觉和文本特征由 SigLIP2 编码。我们添加可训练的投影头，以在共同的检索空间中对齐音频和视觉嵌入。在公平比较设置中，预训练的音频对齐模块保持冻结。

所有基线模型均遵循与 SceneBind 相同的两阶段微调计划。阶段 1 在混合数据配方（包括配对双耳数据集、AudioCaps 和 MS-COCO）上训练 30 个 epoch，批量大小为 1024。阶段 2 从阶段 1 的权重初始化，仅在配对双耳数据集上再训练 30 个 epoch，批量大小等于 512。我们使用 AdamW，权重衰减为 0.01，余弦学习率衰减，预热，并在范数为 1.0 时进行梯度裁剪。阶段 1 的学习率为 $10^{-4}$，阶段 2 为 $5 \times 10^{-5}$，与 SceneBind 计划一致（表 10 和第 C.3 节）。

26

第 27 页

基线方法使用与 SceneBind 相同的检索池、基准划分和样本级协议进行评估。在推理阶段，每个基线为每个模态样本生成一个嵌入向量。为了保持评分协议与 SceneBind 匹配（附录 C.4）一致，我们将该嵌入向量既用作全局表示，也用作对象级匹配的单槽对象表示。由于基线方法不预测空间属性，因此无法显式比较方位角、仰角或距离标签。对于空间条件文本子句查询，我们将组合的语义-空间描述编码为一个文本嵌入，并直接将其与样本嵌入进行匹配。

E 零样本音频-视觉定位细节

针对第 4.7 节中的零样本音频-视觉定位任务，输入为一段立体声音频片段和一张图像帧。我们在未微调的情况下评估 SceneBind。音频分支对立体声音频运行一次以生成音频对象槽，而视觉分支在图像上运行以生成视觉对象槽以及全局语义查询对视觉 patch 标记的交叉注意力。该全局交叉注意力图提供了候选发声对象区域的粗略视觉支持图。

在此任务中，发声对象应在语义上与视觉对象匹配。因此，我们通过语义相似度和槽置信度对音频-视觉槽对进行评分，并使用最佳匹配的音频槽对视觉交叉注意力图进行加权。然后，我们在图像平面上为选定的槽对构建空间引导图。由于缺乏相机内参，我们使用归一化的相机坐标投影：图像中心对应方位角 0° 和仰角 0°，水平位置由方位角决定，垂直位置由仰角决定。在此投影下，选定视觉槽预测的方位角和仰角定义了一个 72 × 72 网格上的中心，我们在该中心渲染一个标准差为 $\sigma_x = \sigma_y = 0.13$ 的二维高斯引导图。

对于选定的音频槽，我们根据其预测的空间分布构建类似的引导图。在对方位角、仰角和距离对数几率进行 softmax 归一化之前，我们分别使用不同的温度值（例如 0.45、0.60 和 0.75）对其进行温度缩放。音频引导中心是根据预测的方位角/仰角 bin 及其相邻 bin 估计得出的。距离分布通过距离依赖的基础尺度控制高斯宽度，并带有较小的置信度依赖展宽。

视觉和音频引导图经过归一化并融合为音频-视觉支持图，指示匹配的音频-视觉槽对认为发声对象应位于图像的何处。我们使用此支持图从视觉交叉注意力图中选择相关区域。交叉注意力图在多个阈值水平上进行阈值处理以产生连通分量候选项，每个分量根据其与支持图的重叠以及最强的音频-视觉重叠种子进行评分。我们保留得分最高的分量并抑制其余部分。因此，最终的定位图保留了视觉注意力图的结构，同时选择了与匹配的音频-视觉空间证据最一致的区域。

对于 cIoU 评估，最终的热图经过归一化并在 0.4 处进行阈值处理。如果剩余多个连通分量，我们保留来自音频-视觉引导图支持最强的分量。生成的二值掩码将与真实边界框掩码进行评估。

F 更多定性结果比较与分析

我们在网页上提供了跨模态场景检索和对象定位的交互式定性可视化。查看器包含六个检索方向的示例：音频到视觉、视觉到音频、音频到文本、文本到音频、视觉到文本以及文本到视觉。对于音频查询和检索到的音频样本，建议使用支持空间音频播放的耳机或扬声器。

对于每个查询，查看器显示来自 SceneBind 的前 3 个检索样本，并将它们与 ImageBind [8]（最强的零样本预训练基线）以及 M2D-SigLIP2*（基于 M2D-CLAP [7] 和 SigLIP2 [5] 构建的最强微调基线）进行比较。微调细节见附录 D 节。SceneBind 的结果包括全局得分 ($S_{global}$)、最佳匹配对象槽得分 ($S_{obj}$) 和融合场景得分 ($S_{scene}$)，其中得分定义见附录 C.4 节。这些得分使得我们能够检查全局匹配和对象级匹配如何贡献于每个排名。

27

第 28 页

右侧还展示了 SceneBind 的对象定位结果。我们显示了所有置信度高于 0.05 的活跃槽位，以及它们预测的方位角、仰角、距离、置信度和与最佳匹配的真实对象子句的语义相似度。下划线的子句表示每个真实对象子句的最佳置信度加权语义匹配。

这些示例支持第 4.6 节中的分析。在跨检索方向上，SceneBind 的槽位经常恢复对于区分场景至关重要的前景对象和事件，包括可见对象和发声源。SceneBind 匹配随后将这些对象语义和空间属性与全局场景上下文进行比较。当候选项具有相似的粗略语义但在对象位置或组成上存在差异时，这很有帮助。

我们将包含本节中的一些样本并提供特定案例的分析。

案例 1：空间线索细化全局检索。图 11 展示了一个 A→V 示例，其中查询音频包含靠近海岸的波浪拍击声。SceneBind 定位了一个对应于听众前方（-15 到 15 度方位角）、水平仰角且距离大约 5-10 米的波浪音频槽位。真实图像排名第一，具有较高的高分和对象分。检索到的前几个 SceneBind 候选项都是布局相似的沙滩场景，其中海岸线出现在略微偏右前方的位置，这与双耳空间线索一致。相比之下，ImageBind 和 M2D-SigLIP2* 检索到语义相关的海滩或海洋场景，但它们的空间布局不同，海洋出现在太靠左或太远的地方。因此，真实图像在 ImageBind 中排名第 44，在 M2D-SigLIP2* 中排名第 7。这个例子说明了 SceneBind 如何利用对象级空间线索来细化全局语义检索。

图 12 展示了一个类似的 T→V 示例。文本查询描述了在 5–10 米处略微偏右的岩石河床，以及在 1.5–5 米处略微偏左沿路排列的车辆。SceneBind 定位了右侧的水域区域，并将车辆子句与具有高语义相似度的附近道路对象进行匹配。其前 3 个检索样本保留了相同的全局场景上下文和布局，包括河床、道路和周围背景。相比之下，ImageBind 为文本查询检索到了相关性较低的场景，而 M2D-SigLIP2* 在其前几个结果中遗漏了车辆，仅在排名第 3 时检索到一个部分匹配的河床场景。这个例子进一步展示了对象级空间匹配如何帮助区分具有相似全局语义但不同对象布局的场景。

图 11：A→V 海滩检索。SceneBind 通过匹配全局海滩语义和波浪的对象级空间线索，将真实图像排在第一位，而基线检索捕捉了粗略的海滩语义，但可能遗漏了空间布局。

案例 2：多个槽位捕获移动声源。图 13 展示了另一个 A→V 示例，其中查询音频包含一辆公交车或汽车从左前方驶过。SceneBind 激活了多个具有相似语义但空间预测不同的公交车引擎槽位，例如前方和左前方的引擎声，距离为中到远，还有一个较近的预测。这说明了对象槽位的作用：它们不必强制定位单个唯一的目标，而是可以代表一组合理的语义空间假设，特别是对于在音频窗口内观察到的动态声源。因此，SceneBind 检索到的图像中，道路和车辆的排列与音频布局一致。相比之下，ImageBind 和 M2D-SigLIP2* 检索到语义相关的街道场景，但车辆和车道布局更加多样化。这个例子展示了

28

第 29 页

图 12：T→V 河流检索。SceneBind 同时匹配全局河流道路上下文和河床及车辆的对象级空间线索，而 ImageBind 对详细文本查询的敏感度较低，M2D-SigLIP2* 则遗漏了关键对象或检索到了较弱的布局。

图 13：A→V 移动巴士检索。SceneBind 使用多个与巴士引擎相关的槽位来表示移动声源的合理语义空间假设，检索出与双耳音频更匹配的具有道路和车辆布局的场景。

展示了 SceneBind 槽位如何暴露对象级空间结构，同时揭示移动声源的不确定性。

案例 3：音频作为检索目标。图 14 展示了一个来自爵士乐表演的 T→A 示例。ImageBind 检索到的音频样本具有明显不同的频谱图，尽管它们听起来包含类似鼓的声音。它们的整体场景上下文和空间布局与查询不同。根据这些样本，ImageBind 在零样本设置下无法很好地适应我们的文本场景领域。经过微调后，M2D-SigLIP2* 更好地匹配了全局爵士酒吧上下文，但鼓和萨克斯风的位置仍然不同，这也反映在频谱图和波形模式中。相比之下，SceneBind 将萨克斯风相关的槽位定位在前部和左前方向，接近真实萨克斯风位置，并识别出其他乐器（如鼓和长号）位于兼容的方向。虽然 SceneBind 将真实音频排在第一位，但检索到的音频具有更接近真实值的频谱图和波形模式，听起来描述了相似的语义和空间布局，例如萨克斯风在前部或左前部，鼓略微偏右。

图 15 展示了一个 V→A 街道示例。SceneBind 从视觉槽位中将一辆黑色出租车定位在前部，而检索到的音频槽位将交通或车辆声音放置在类似的前方方向。前 3 个检索到的音频也具有相似的频谱图和波形纹理，街道场景的声学特征类似于来自左前区域的出租车和交通流。虽然真实值排在第二位，但排名第一的音频在语义和空间上仍然非常接近。ImageBind 捕捉到

29

第 30 页

宽阔的街道语境，但显示出较弱的空间布局一致性；而 M2D-SigLIP2* 检索到的交通声音具有更发散的车辆方向和发声物体的空间结构。

总之，当音频作为目标模态时，任务可能更具挑战性，因为音频提供的前景物体证据比图像更稀疏，因此音频池中的多个候选项可能共享相似的全局场景语义，甚至空间布局。

图 14：T→A 爵士乐检索。SceneBind 将真实音频排在第一位，其检索到的前几个样本显示出相似的爵士乐表演语境、频谱图和波形模式，以及萨克斯风和鼓等乐器的物体级空间线索。

图 15：V→A 街道检索。SceneBind 检索到具有相似街道场景声学特征和前方车辆线索的音频。尽管真实音频排在第二位，但前几个结果在语义和空间上仍然非常接近，说明了当音频作为目标模态时场景检索面临的挑战。

G 局限性与未来工作

数据规模与标注质量。SceneBind 依赖于精心策划的空间对齐的音频-视觉-文本数据，这些数据包含结构化的语义和空间标注。虽然我们的双耳数据集提供了一个强有力的起点，但与网络规模的语义数据集相比，其规模和多样性仍然有限。真实世界场景呈现出长尾事件分布、复杂的声学条件和模糊的空间线索，这些使用当前的标注流程难以捕捉。此外，我们的自动标注步骤由 Gemini 引导，而 Gemini 无法直接感知双耳空间线索。其

30

第 31 页

空间估计主要从视觉证据中推断，这可能导致标注偏向于可见或正对镜头的对象，并可能遗漏或幻觉出屏幕外或后场的事件。尽管我们通过跨模态验证、数据平衡以及人工审核评估来缓解这些问题，但提高自动空间标注质量仍然是一个重要的研究方向。未来的工作将利用更丰富的野外数据源扩展数据收集，加强多模态过滤和人在回路（human-in-the-loop）的细化，并探索半监督或自监督学习以减少对显式空间标签的依赖。

时序建模。当前的公式化方法作用于短时域窗口（例如单个视觉帧和约 2 秒的音频），这限制了捕捉时序动态的能力，如对象运动、不断演变的交互以及长程语义-空间表示。将 SceneBind 扩展为在更长且灵活的时间范围内进行时序整合是一个重要的研究方向。这包括建模连续的视角或对象轨迹、时序一致的槽表示，以及针对动态场景的跨时间语义-空间推理。

H 更广泛的影响

SceneBind 研究野外语义-空间全模态表示学习，旨在推动多模态感知从识别“存在什么”向理解对象和事件在 3D 空间中的“位置”迈进。这种全方位的空间感知可以支持辅助系统、可穿戴设备、AR/VR 交互、多模态导航、人机交互以及具身智能体中更自然的空间推理。该表示还可以作为更大系统的结构化接口：与语言模型结合时，它可能支持自然的空间问答和指令遵循；与生成模型或世界模型结合时，它可能有助于构建语义和空间对齐的场景表示，或者为评估多模态空间一致性以及改进全模态生成模型提供奖励或评判信号。

同时，如果缺乏保障措施，从视听输入中推断空间结构的模型可能会带来风险。潜在的滥用包括监视、未经授权的跟踪，或在未经同意的情况下推断关于人和环境的情境。SceneBind 也继承了其预训练编码器和训练数据的局限性与偏见，其在模糊或安全关键场景中的空间预测可能不正确。为了降低这些风险，部署时应传达不确定性和故障模式，遵循保护隐私的数据收集和评估实践，并限制在涉及生物特征数据、私人空间或实时监控的敏感应用中使用。未来的工作应进一步研究空间全模态感知和推理的鲁棒性、可解释性以及同意感知的评估协议。

31