Pictura：如何用 CUDA 光栅化器实现大规模纯视觉驾驶自博弈

以下译文用于快速探索和学习，技术术语按需要保留英文；正式引用和精确表述请以原论文为准。

第 1 页

Pictura：面向大规模驾驶的透视视图自博弈

Yuan Yin1, Elias Ramzi1, Marc Lafon1, Valentin Charraut2, Victor Bares2, Yihong Xu1, Éloi Zablocki1, Alexandre Boulch1, Thibault Buhet2, Andrei Bursuc1, and Matthieu Cord1,3

1 valeo.ai, 法国巴黎 2 Valeo Brain, 法国克雷泰伊 3 索邦大学, CNRS, ISIR, F-75005 法国巴黎

摘要。仿真中的自博弈能够以大规模方式生成鲁棒的驾驶策略。此类行为的演示曾使用特权向量化观测（如精确位姿和速度），甚至针对被遮挡的智能体。这假设感知问题已解决，并引入了与部署智能体从自相机视角进行部分观测之间的表示差距。一种常见的修复方法是将特权策略蒸馏到以相机为输入的学生模型中，但这导致学生模型模仿其自身视角无法解释的决策。相反，我们引入 Pictura，一种基于 GPU 加速的多智能体驾驶训练模拟器，用于自博弈。它在每一步渲染每个智能体的自相机视角，从源头上缓解表示差距。Pictura 在单张 H100 上可持续达到 500 K agent-steps/s（即 2 M 张图像/秒）。利用 Pictura，我们通过标准 PPO 进行自博弈训练 Alberti。这是首个直接从透视图像、无需特权观测进行的大规模驾驶自博弈策略。训练跨度为 500 亿智能体步数，相当于约 3500 万公里的驾驶。其驾驶性能接近其特权向量化对应模型，并零样本迁移至 Pictura 重渲染的 Waymo Open Motion Dataset 布局，在其中优于特权向量化智能体。项目页面：https://valeoai.github.io/Pictura/。

关键词：自动驾驶 · 自博弈 · 高吞吐量模拟器 · 透视渲染

1 引言

端到端驾驶策略通常通过模仿记录的人类驾驶数据来学习 [13,16,22]。离线模仿存在根本性局限。它需要大量真实的驾驶数据，只有少数成熟的工业参与者才能收集。此外，它仅让策略接触人类谨慎访问过的状态，因此协变量偏移使其无法从自身的错误中恢复。通过自博弈的多智能体强化学习（MARL）通过让智能体在仿真中与自身的副本对抗，消除了这些局限，生成越来越困难的场景，并从其行为的后果中学习。最近的工作展示了鲁棒性

第 2 页

2 Y. Yin et al.

大规模自博弈策略 快速透视视图模拟器 50 B 200 B 智能体步数 相机帧渲染 车辆 行人 交通灯 3500 万公里 1750 年 驾驶经验 （约91次月球之旅）（20000 公里/年） 墙壁 13 小时 32 张 H100 卡上以约 130 万步/秒的速度运行

图 1：Pictura 直接在透视视图下进行驾驶自博弈。左侧：策略学习的渲染帧，由我们定制的 CUDA rasterizer 生成；标签标记了其支持的超出移动车辆的场景元素。右侧：Alberti 最长自博弈运行的规模。

驾驶行为通过大规模自博弈涌现，无需人类演示，并能零样本迁移到训练时未见过的地图和智能体 [8]。 然而，这种鲁棒性仅在数十亿次模拟器交互后才出现，因此自博弈仅在使用快速、批处理模拟时才具有可行性 [5, 8]。这部分速度来源于智能体所观测的内容：向量化状态，即直接从内部模拟状态复制的附近智能体、车道和交通信号的紧凑列表 [5,8,15]。这种状态是特权观测，向策略提供车载传感器无法测量的信息，例如被遮挡的智能体或合作伙伴的确切速度。部署的车辆则通过自车相机感知世界，必须从原始像素中推断场景几何、动力学和语义。因此，在特权向量上训练解决的问题比部署时面临的问题更简单。更糟糕的是，此类策略基于相机无法提供的信息进行决策，对实际上永远无法感知的智能体和信号做出反应。因此，从中蒸馏出的端到端策略 [25,34] 继承了其自身视角无法证明的决策，这是一种 LEAD [21] 记录且我们的分析所证实的故障模式。 现有的大规模自博弈从特权模拟器状态学习策略，并在之后将其蒸馏到图像上。我们表明，这一特权阶段是不必要的：强化学习可以直接从可观测图像中进行，策略在自博弈期间直接从透视相机视图学习驾驶。这强制执行了向量化状态所违反的可观测性约束。透视视图是部分可见的：它隐藏了被遮挡的物体，将远处的物体减少为几个像素，并且不携带场景的度量描述。因此，在此视图下训练可防止策略利用特权场景信息：它看不到部署车辆无法自行感知的任何内容。照片级真实的图像最能满足该约束，但在自博弈规模下闭环渲染它们成本过高。我们采取了一种中间方案，既保留了可观测性约束，又仅放弃了外观：一

第 3 页

Pictura：用于驾驶3的透视自博弈

模拟状态的栅格化透视视图，可大规模低成本渲染。其成本低于预期。越来越多的证据表明，场景结构和动力学比外观更能提供学习信号，且在生成[23,35]和规划[11,25]等任务中，在廉价非照片级真实感源上训练的模型能够以少量真实数据迁移到真实图像。将渲染视图与真实图像对齐是一个互补且正交的步骤，留待未来工作。

我们引入Pictura4，这是一个GPU加速的多智能体驾驶模拟器，使大规模透视自博弈变得可行（图1）。在每个模拟步骤中，它为每个智能体渲染栅格化的第一人称视图，并将其反馈给该智能体的策略——每个智能体行动、被其邻居渲染，并从其所见中学习，所有操作都在一个闭环内完成。感知和控制是联合学习的，无需特权教师或蒸馏过程；因此，生成的策略Alberti能够从自博弈闭环内的图像中学习驾驶，据我们所知，这是先前的驾驶策略所不具备的。仅基于相机所见进行训练，Alberti发展出了合理且类似人类的行为，在遮挡严重或视线受阻的场景中减速，并在确信前方道路畅通后重新加速。整个闭环在从CARLA [9]导入的合成地图上运行。

以这种方式训练，Alberti能够零样本迁移到真实世界布局：来自Waymo开放运动数据集（WOMD）[10]记录驾驶的道路地图、智能体初始状态和目标，通过Pictura的光栅化器重新渲染。

我们的贡献如下：

(1) 基于车载观测的大规模自博弈：我们表明，迄今为止仅限于特权向量化状态的大规模驾驶自博弈，可以直接在透视图像上运行，从而完全从强化学习阶段移除特权信息；

(2) Pictura，带有GPU原生渲染器的模拟器：对Gigaflow的世界设计进行了完整的向量化重新实现，在移动车辆框的基础上增加了交通信号灯、行人、骑行者、墙壁和停放车辆；其定制的CUDA光栅化器在单个H100上以每秒50万智能体步数（SPS；200万张图像/秒）的速度在训练循环内绘制每个智能体的相机视图；

(3) Alberti，生成的策略：使用普通PPO在渲染的相机视图上从头训练，无需特权教师或蒸馏。其驾驶表现几乎与其特权向量化对手相当，且在零样本迁移到真实世界WOMD布局时表现更好。

2 相关工作

驾驶中的自博弈。自博弈是多智能体强化学习的经典配方[17, 29, 32]。在驾驶中，它在简化环境中产生了合并等协商行为[31]；通过人类数据对其进行正则化可使智能体与人类惯例兼容[6,7]；非对称变体通过与提出具有挑战性但可解决场景的教师对抗训练，提高了长尾鲁棒性[36]。Gigaflow [8]表明，在足够大的规模下，鲁棒行为可以从自博弈中涌现。

4 Pictura和Alberti以莱昂·巴蒂斯塔·阿尔伯蒂（Leon Battista Alberti）的《论绘画》（De Pictura，1435年）命名，该著作首次形式化了线性透视的数学规则。

第 4 页

4 Y. Yin 等

仅凭自身：无需真实世界数据或标注，其策略在 CARLA [9]、nuPlan [2] 和 WOMD [10] 上达到最先进结果，并零样本迁移至未见地图。但这需要付出代价。该范式仅在能执行数十亿次状态转移的模拟器中可达，且其中的每个智能体均基于向量化特权状态（如精确位姿、速度）进行决策，而极少甚至没有车载传感器能提供此类状态。

闭环驾驶模拟器。正是这种步率决定了观测方式。向量化模拟器 [5,12,15] 以每秒数百万次转移的速度推进抽象状态，是强化学习（RL）的标准基础，但它们暴露的是位姿、速度和道路图点，而非摄像头能生成的任何内容。GPUDrive [15] 具有代表性。它基于 Madrona 批处理引擎 [28]，仅将其用于状态推进，并报告了一个不渲染任何内容的模拟器的吞吐量。透视视图模拟器做出相反的权衡，从 authored assets 和游戏引擎 [9,18] 或逐场景 3D 重建 [1,20,38] 渲染图像，但两者都无法达到自博弈所需的环境数量。现有的驾驶模拟器均无法在向量化的吞吐量下提供类摄像头的观测。

从特权智能体到摄像头输入的学生模型。快速模拟器是“盲”的，而“有视力”的模拟器速度慢，因此该领域在快速模拟器中训练，并将策略迁移到摄像头输入。特权智能体监督基于视觉的学生模型 [3,4,37]，或冻结在已学习的适配器之后 [14]。最近，TerraTransfer [34] 将视觉骨干网络与向量化 RL 智能体的潜在空间对齐；Gigapixel [25] 通过中间像素观测，将反应式智能体蒸馏为模仿学习规划器 [16]。无论哪种方式，学生模型都被训练去复现那些依赖于其无法看到的信息的决策 [21]。Pictura 并非改进迁移，而是去除了这一前提：一旦透视观测足够廉价以嵌入 RL 循环，基于摄像头输入的策略就可以直接训练。

抽象状态的透视光栅化。这种观测可以通过将模拟器状态直接光栅化到透视视图中获得，完全舍弃外观信息。先前的工作仅使用此类光栅图像来条件化生成模型 [19,24,33]。RAP [11] 是第一个利用光栅图像增强透视视图驾驶智能体的工作，通过行为增强进行模仿学习，但它在主机上使用 OpenCV 进行光栅化，这仅适用于离线场景。Gigapixel [25] 使用 Madrona 的批处理渲染器 [28] 进行渲染，该渲染器经过 GPU 的图形管线，而现代计算导向硬件上的图形管线容量有所降低。因此，高效扩展自博弈倾向于在与策略相同的设备和进程中生成观测。Pictura 通过在 GPU 的通用计算核心而非图形管线上进行光栅化来实现这一点。驾驶场景、少量边界框、车道线和折线足够简单，可以通过这种方式渲染。

3 Pictura：用于透视视图自博弈的模拟器

Pictura 是一个用于多智能体驾驶自博弈的 GPU 加速模拟器，支持透视视图。它包含三个部分：核心的向量化模拟器（第 3.1 节），

第 5 页

Pictura：用于驾驶的透视自博弈 5

动作

向量化模拟器 自定义 GPU 透视视图光栅化器 观测 Alberti 高达 500 K 步/秒 2 M 图像/秒 · 4 个摄像头 = 策略 状态 策略更新 前 前左 前右 后 丰富的场景元素 交通灯、行人、PPO 骑行者、车辆、墙壁 裁剪策略梯度

奖励

图 2：Pictura 架构。Pictura 将向量化模拟器与自定义 GPU 光栅化器耦合，后者将模拟器状态渲染为每个智能体的自车透视视图。观测输入 Alberti（策略），并与动作和奖励一起形成回合数据，PPO 将其转化为策略更新。

透视光栅化器（第 3.2 节），以及 Alberti 背后的训练配方和策略（第 3.3 节），如图 2 所示。

3.1 类 Gigaflow 的向量化模拟器

自博弈仅在大规模下才能产生鲁棒的驾驶行为 [8]。达到该规模对模拟器提出了两项要求：它必须以足够低的成本推进状态转移，以积累数十亿次转移；其世界（重度随机化、精心设计的奖励）必须足够多样化，以迫使泛化。本节描述满足这两项要求的向量化核心；透视渲染器（第 3.2 节）和基于图像的策略（第 3.3 节）构建于其上层。

基于 PufferDrive。我们基于 PufferDrive [5] 构建，这是一个使用 PufferLib [30] 编写的开源驾驶模拟器，据我们所知，它是驾驶中向量化自博弈强化学习的最佳公开起点。Pictura 从中继承了快速的多智能体驾驶 C 核心、PyTorch PPO 训练循环以及每个环境支持上千个智能体的能力。所有场景均在 PufferDrive 分发的合成 CARLA [9] 地图上进行，其路网由人工编写，具有真实性和多样性。回合是开放式的：智能体到达目标后，会立即被分配新目标并继续驾驶。然而，与发布版本相比，PufferDrive 缺少 Gigaflow 的几项功能 [8]；接下来的段落描述了添加这些功能的更改，将核心转变为类 Gigaflow 的模拟器。

智能体、场景和目标。单个共享策略控制道路上的所有智能体，这使得 Pictura 能够更丰富地填充场景。行人和骑行者作为可控智能体加入车辆。停放的车辆作为静态条目添加，墙壁成为地图元素，随后充当渲染器的遮挡物。两项进一步的变化塑造了驾驶任务。目标沿车道网络采样，而非在可行驶区域的任意位置，因此到达目标需要符合车道规则的驾驶。违规是终止性的：发生碰撞、驶离道路或闯红灯的智能体将在回合剩余时间内原地停止。当停止比例超过阈值时，回合重置（附录 A.3，表 5）。

第 6 页

6 Y. Yin 等

a 行人 b 自行车 c 车辆 d 受控 e 剔除离轴 f 美式远侧灯头 智能体 交通灯 剔除

g 停放车辆 h 墙壁 i 路宽与深度 远 静态 元素 近

图 3：驾驶渲染特征。Pictura 绘制到每个智能体自我中心视图中的元素，按类型分组。智能体为立方体，按面着色并带有深度感知亮度：行人 (a)、骑行者 (b)、车辆 (c)。交通灯为圆盘，具有有限的视角，仅绘制其受控的接近方向 (d)，并在相机背对时剔除 (e)；美式路口的远侧灯头 (f)。静态元素包括停放车辆 (g)、墙壁 (h) 以及随深度渐变的道路标线 (i)。

观测、奖励与条件。在每一步 $t$，智能体 $i$ 接收一个基于自车状态 $S$、最近周围智能体 $A$（位置、方向、速度和尺寸，包括停放车辆）、以及地图集合 $\mathcal{W}_i^{(t)}$ 构建的自我中心、归一化观测。$\mathcal{W}_i^{(t)}$ 收集附近的车道几何 $W_{\text{lane}}$、道路边界 $W_{\text{boundary}}$、交通控制元素 $W_{\text{stop}}$（停止线和交通灯状态），并在启用时包括墙壁 $W_{\text{wall}}$：

$$ o_i^{(t)} = \left( S_i^{(t)}, A_i^{(t)}, \mathcal{W}_i^{(t)} \right), \quad \mathcal{W}_i^{(t)} \big\{ W_{\text{lane},i}^{(t)}, W_{\text{boundary},i}^{(t)}, W_{\text{stop},i}^{(t)}, W_{\text{wall},i}^{(t)} \big\} \label{eq:obs_vec} \quad (1) $$

观测还携带每个智能体的条件集合 $C_i = (C_{\text{reward}}, C_{\text{dynamics}})$，告知每个智能体其当前面临的奖励权重和动力学参数。每个智能体最大化其自身的每步奖励，该奖励是各项之和，奖励到达航点和目标，并惩罚碰撞、驶离道路、红灯越过停止线及其他违规行为。在每次回合重置时，大多数奖励系数以及缩放每个智能体控制的动力学乘数 $C_{\text{dynamics}}$ 都会重新采样。由于 $C_i$ 是观测的一部分，共享策略可以针对每次采样调整其行为。附录 A.1 定义了所有奖励项，表 2 列出了每个条件系数的采样分布。

3.2 透视渲染

透视自博弈用每个智能体的自我中心相机视图替换了第 3.1 节中的向量化观测。在每一步为每个智能体渲染该视图不应主导训练成本。Pictura 通过专用的批量光栅化器实现这一点，其视觉设计遵循 RAP [11]：场景绘制为平面着色的几何图元，无纹理或光照，这是一种轻量级表示，但仍包含驾驶策略所需的线索。

光栅化器。Pictura 光栅化器是一个确定性函数 $\Phi$：对于每个智能体 $i$，它将周围智能体和地图几何投影到刚性体 $K_i$ 上

第 7 页

Pictura：用于驾驶的透视自博弈 7

Ncam 车载相机，每台相机配置了内参和外参，生成策略所消费的透视观测，

\ha t { o}_i^ {(t)}\ ! \ big( S _ i^{(t)} ,\!I_i^{ !=\ ( t)},\!\ m at hcal {C}_i\ big ) , I_i ^{(t)}\!=\!\bigI_{i,k}^{(t)}\big)_{k=1}^{N_{\text{cam}}},I_{i,k}^{(t)}\Phi\big(A_i^{(t)},\!\mathcal{W}_i^{(t)},\!\mathcal{K}_{i,k}\big)\!\in\![0,1]^{h_k\!\times\!w_k\!\times\label{eq:obs_pv} (2)

每幅图像是通过对场景基元（智能体包围盒、建筑面片和地图折线）在自车相机投影下进行光栅化获得的。仅渲染周围环境：自车状态 $S_i$ 和条件 $C_i$ 保持为向量输入，与测试时车载可观测的内容相匹配。

用于驾驶的渲染特征。图 3 展示了 Pictura 绘制到渲染视图中的场景元素。周围智能体为按面着色的包围盒，具有深度感知亮度，因此仅凭颜色即可读取其方向和距离：行人、骑行者和车辆，每种都有各自的色调（a–c）。交通信号灯渲染为圆盘，仅在有限的角度范围内可见。信号为其控制的接近方向绘制（d），但一旦自车背对方向则被剔除（e），这与真实信号仅服务于单一接近方向的方式相匹配。信号的位置也与其控制的停止线解耦。正如美式十字路口，信号灯头可以悬挂在路口远端，同时控制近端的停止线（f）。静态几何体完善了视图：停放的汽车沿路缘排列作为无控制智能体（g），墙壁 $W_{wall}$ 渲染为遮挡物，以模拟城市街道的有限视野（h），道路标记为折线，其宽度随深度缩小，因此较近的标记看起来更粗（i）。所有这些的基础是解析覆盖抗锯齿，它每像素单个采样即可平滑边缘（远低于超采样或多采样的成本），因此即使在低分辨率下，车道线等细结构也保持可见（附录 B.1，图 10）。因此，训练可以在低分辨率下进行，达到自博弈所需的数十亿智能体步数（图 7）。

专为训练栈构建的渲染器。由于场景仅包含基本形状，Pictura 使用自定义 CUDA 内核在 GPU 的通用计算核心上对其进行光栅化，这些核心与运行网络的相同，而非传统渲染器驱动的固定功能图形流水线。由此产生三个后果：(1) 渲染视图直接在设备上馈送给网络，无需主机往返，因为内核在训练进程内运行，而单独的渲染器每一步都要支付该往返开销。(2) 渲染器随每一代新硬件加速，因为通用计算是深度学习硬件持续加速的部分，而图形流水线被降级。(3) 它可在训练栈运行的任何地方执行，包括缺乏完整图形栈的共享 HPC 集群，因为内核针对任何支持 CUDA 的设备即时编译，无需图形驱动程序或预构建二进制文件。

3.3 透视视图自博弈

将向量化模拟器与光栅化器耦合，智能体 Alberti 直接从图像中学习，仅使用强化学习作为监督信号。它通过多智能体自博弈 PPO 在渲染视图上进行从头训练，联合优化图像编码器和驾驶策略。

第 8 页

8 Y. Yin 等人

学习目标。透视智能体优化的目标与向量化基线相同，使用公式 2 中的渲染观测 $\hat{o}_i^{(t)}$ 替代公式 1 中的实体集。所有通过共享策略 $\pi_\theta$ 行动的智能体的转换被收集到一个单一的在线策略缓冲区中，训练过程最大化标准的裁剪 PPO 代理目标 [27]，同时结合用于评论家（critic）的值回归损失和熵奖励。优势值和值目标使用广义优势估计 [26]，优势值按小批量归一化并遵循 Gigaflow [8] 进行过滤。附录 A.3 列出了完整的配方和超参数。

策略架构。受 DrivoR [16] 启发，透视策略对公式 2 中的每个相机视图 $I_{i,k}^{(t)}$ 使用一个小型卷积堆栈进行编码，从头开始训练，并将生成的特征图与一组学习到的查询令牌进行池化，这些查询令牌在它们之间进行交叉注意力机制（图 4）。与单一的全局归约相比，这种池化方式更加丰富，并且使得学习到的查询令牌数量独立于特征图大小，因此不同分辨率的相机可以映射到具有相同宽度的潜在空间中。该分支取代了来自 Gigaflow [8] 的基线向量化策略中的实体集编码器；池化的令牌被投影到它们所替代的嵌入的合并宽度。其余部分继承自向量化智能体：自车状态 $S$ 和条件 $C$ 被直接编码，所有嵌入被连接到一个共享的 actor-critic MLP 主干网络中，并带有线性头。另一个进一步的改变应用于两种模态，从 $S$ 中移除了部署车辆无法测量的两个自车输入：距车道中心的横向偏移量和相对于车道方向的航向角。因此，模态之间的性能差距（第 5.1 节）反映了场景表示，而非架构。架构细节见附录 A.2 中的表 4。

4 渲染效率评估

Pictura 凭借其渲染器，使得大规模透视自博弈成为可能。本节量化了其发挥该作用的两个特性：其吞吐量超过了先前的渲染器，且仅占训练成本的一小部分。

与先前渲染器的吞吐量对比。图 5a（左）在单个 A100L 上扫描渲染分辨率，并报告峰值仅渲染吞吐量（以每秒智能体步数 agent-steps/s 计），将 Pictura 与先前的透视渲染器进行比较，每个渲染器均使用 Gigapixel 论文 [25] 中报告的吞吐量：RAP [11]，一个基于 OpenCV 构建的 CPU 光栅化器；HUGSIM [38]，一个 3DGS 渲染器；以及 Gigapixel 本身，即最先进的批量

第 9 页

Pictura：用于驾驶的透视自博弈 9

SPS 500K H100 3264 PicturaCUDA 400K 96 (ours) 192 Agent 300K 384 Pictura A100L 32 200K 64 Madrona 96 100K A100L 192 Render‑only 384 OOM OOM 0 H100 64 128 256 512 64 128 256 512 0 25 50 0 50 100 分辨率 (px, 正方形) 挂钟时间 (s) 迭代占比 (%) Pictura CUDA Gigapixel Madrona Rast.⋆ HUGSIM⋆ 渲染 环境 前向 优化 其他 Pictura Madrona Gigapixel Madrona RT⋆ RAP⋆

(a) 吞吐量对比。 (b) 训练步骤挂钟时间分解。

图 5：Pictura 渲染器性能。(a) 仅渲染智能体步数/秒与分辨率的关系。左侧：所有系统均在同一 A100L 上；⋆数据来自 [25]。右侧：Pictura CUDA 渲染器与其 Madrona 重新实现在 A100L 和 H100 上的硬件扩展对比。(b) 在单个 H100 NVL 上，针对不同渲染分辨率的训练迭代各阶段挂钟时间，绝对秒数（左）及迭代占比（右）。

渲染器，基于 Madrona 引擎 [28] 构建。RAP 和 HUGSIM 的性能比批处理系统低几个数量级，因此在自博弈规模下，真正有竞争力的对手是 Gigapixel。在与报告其数据的正方形分辨率、无墙配置相匹配的情况下，我们的 CUDA 光栅化器比其最快配置快 1.4–4.1 倍。为了将引擎与场景内容隔离，我们还在 Madrona 中重新实现了我们的光栅化器，使得两个引擎光栅化相同的场景。重新实现的性能略低于 Gigapixel 发布的曲线，但遵循相同的分辨率趋势，表明我们利用引擎的效率与 Gigapixel 作者相当。所有后续比较均使用此重新实现，而非 Gigapixel 模拟器，因此任何差异仅反映渲染引擎本身。

硬件扩展。由于 Pictura 在通用计算核心上进行光栅化，因此在新型硬件上速度更快，而传统的图形流水线渲染器则不然。从 A100L 到 H100（图 5a，右侧），我们的 CUDA 光栅化器速度均匀提升了 1.5 倍；而 Madrona 重新实现的性能反而下降，仅为 A100L 吞吐量的 0.2–0.7 倍。差距从单代硬件的 2.2–5.0 倍扩大到 10–19 倍。原因在于各渲染器的工作位置：我们的渲染器在计算核心上运行，继承了 H100 的吞吐量提升，而 Madrona 在固定功能图形流水线上运行，而深度学习加速器对此优先级较低。随着加速器不断以图形能力换取通用计算能力，我们预计这一差距将进一步扩大。

摆脱渲染器瓶颈的自博弈。图 5b 将训练迭代分解为各个阶段，每个渲染覆盖 2048 个自车的批次。两个光栅化器的所有非渲染阶段均相同，因此全部差距在于渲染——Madrona 慢 13–16 倍，且随分辨率增加而变慢，而 CUDA 光栅化器几乎保持平坦。因此，渲染仅占 Pictura 迭代的约 10%，但超过

第 10 页

10 Y. Yin et al.

的 Madrona 方案相比，完整迭代速度慢 2–3 倍；在最高分辨率 384 × 216 下，Madrona 甚至完全耗尽内存。环境阶段（env phase）看起来耗时较长，仅因为该微基准测试是串行运行的，将 CPU 模拟器置于关键路径上；实际训练会将其与计算重叠，因此渲染本身决定了吞吐量。表 B.2 中的 Tab. 6 给出了各阶段的时间统计。附录 B 扩展了完整的渲染器对比，涵盖渲染质量、每 GPU 小时的内存以及策略质量。

5 策略评估

本节评估通过大规模自博弈（Self-play）学习到的 Alberti、Pictura 的透视驾驶策略。第 5.1 节展示了训练过程及其在域内（in-domain）和基于真实世界布局的零样本（zero-shot）场景下达到的驾驶性能；第 5.2 节分析了策略如何将其驾驶决策建立在相机观测之上。

5.1 大规模驾驶性能

设置。我们将 Alberti 与两个向量化基线（Vectorized baselines）进行比较，这些基线在网络规模和收集的状态转换数量上与之匹配：(1) 原始特权智能体（privileged agent），其使用与 Gigaflow 相同的输入；(2) 一个类似对等的变体，我们移除了透视智能体无法获取的变量——其他智能体的速度、自车相对于车道中心的横向偏移量以及其相对于车道方向的角度。所有三个智能体均在 CARLA 地图（第 3.1 节）上进行训练，Alberti 观察由四个相机组成的阵列，每个相机渲染分辨率为 96 × 54。驾驶质量由五个仅涉及车辆的指标总结：有责碰撞率（Coll.）、路外行驶率（Off-road）、闯红灯率（RLV）、达成目标数（Goals）以及每起违规行驶距离（km/infr.）。我们评估两种设置：(1) 域内（In-domain），智能体在 CARLA 地图上生成的新自博弈场景上使用所有五个指标进行评分；(2) 零样本（Zero-shot），智能体在通过 Pictura 重新渲染的基于真实世界 WOMD [10] 布局上驾驶，每辆车分配其记录的起点和终点航点。在零样本设置中，我们报告三个适用指标：Coll.、Off-road 和 Goals。由于这些布局中没有交通信号灯，RLV 未定义，且 km/infr. 与域内设置不可比，因为在域内设置中，闯红灯违规计入违规总数。我们在每种设置中评估三种交通密度：域内的轻、中、重（分别为最大训练密度的 50–125%），以及 WOMD 中记录的道路使用者的 50%、75% 和 100%。有关相机内外参、完整训练超参数、奖励系数范围及硬件信息，请参阅附录 A；有关评估协议和指标定义，请参阅附录 C。

域内自博弈评估。表 1a 报告了三种交通密度下的域内自博弈结果。虽然之前的大规模自博弈智能体依赖于特权向量观测，但我们仅使用渲染的相机视图将 Alberti 的训练扩展至 500 亿智能体步数（agent steps）。在中等交通密度下，Alberti 在路外行驶率（0.018 vs. 0.020）和达成目标数（11.21

第 11 页

Pictura：用于驾驶的透视自博弈 11

表 1：自博弈驾驶性能，域内与零样本。在三种观测空间上训练使用相同的 50 B-step 配方。(a) 域内，在 CARLA 地图上的自博弈，涵盖三种交通密度。(b) 零样本，在 WOMD 布局上，通过移除每场景中随机比例的道路用户来降低交通密度。所有指标仅针对车辆。Vectorized † 丢弃了相机无法感知的辅助特征。

(a) CARLA 地图上的域内自博弈。(b) WOMD 上的零样本。

密度 Agent Coll. ↓Off-road ↓RLV ↓Goals ↑km/infr. ↑ 密度 Agent Coll. ↓Off-road ↓Goals∗↑

Vectorized 0.049 0.024 0.008 12.61 23.46 Vectorized 0.015 0.067 0.718 Dense 100% Vectorized† 0.038 0.019 0.008 10.32 22.25 Vectorized† 0.029 0.143 0.585 (125%) (Full) Alberti 0.063 0.018 0.043 8.94 11.44 Alberti 0.006 0.014 0.858

Vectorized 0.043 0.027 0.009 15.38 33.53 Vectorized 0.009 0.070 0.746 Medium Vectorized† 0.037 0.020 0.009 12.81 26.99 75% Vectorized† 0.022 0.144 0.607 (100%) Alberti 0.060 0.018 0.058 11.21 11.61 Alberti 0.003 0.013 0.870

Vectorized 0.038 0.026 0.009 19.54 52.85 Vectorized 0.006 0.073 0.773 Light Vectorized† 0.027 0.018 0.008 16.97 46.55 50% Vectorized† 0.015 0.145 0.627 (50%) Alberti 0.051 0.021 0.071 15.15 27.04 Alberti 0.002 0.012 0.881 ∗每个智能体仅采样一个目标，因此 Goals 是完成率，不能超过 1。

0.4 0.4 0.4 20 Collision ↓ Off‑road ↓ Red light ↓ Goals ↑ km/infr. ↑ 0.3 0.3 0.3 15 20 0.2 0.2 0.2 10 10 0.1 0.1 0.1 5 0 0 0 0 0 0 25B 50B 0 25B 50B 0 25B 50B 0 25B 50B 0 25B 50B

图 6：Alberti 在 50 B 步自博弈过程中的域内驾驶性能。 粗曲线表示中等交通密度；阴影带涵盖从稀疏到密集的范围。

vs. 12.81），同时表现出中等较高的碰撞率（0.060 vs. 0.037）。 其最明显的差距在于闯红灯违规（0.058 vs. 0.009），这在很大程度上也解释了其每违规距离较低（11.61 vs. 26.99 km）。这种差距可能是因为交通灯在渲染视图中仅占几个像素，而它们的精确状态直接提供在向量状态中，即使它们位于自车前方很远的地方。在稀疏和密集交通密度下，整体模式相同，表明策略泛化到了与训练期间使用的道路用户密度不同的密度。尽管必须联合学习视觉感知与驾驶，Alberti 使用了与向量智能体相同的训练配方和超参数，无需针对感知的特定调整。图 6 进一步显示，在所有五个指标上均有整体改善，在 50 B 步时没有明显的饱和迹象，特别是对于达成的目标。这些结果表明，定制优化和进一步扩展都可以提高性能。

WOMD 上的零样本自博弈。在零样本 WOMD 布局上（表 1b），域内排名发生反转。Alberti 在全密度自博弈的所有三个指标上均领先，达到 86% 的目标，而全特权智能体为 72%，同类参考为 59%，碰撞次数减少 2.5 倍，驶出道路次数减少 4.8 倍。这种优势在交通密度范围内保持，Alberti

第 12 页

12 Y. Yin 等

0.4 0.4 0.4 20 2M 碰撞 ↓ 驶出道路 ↓ 闯红灯 ↓ 目标达成 ↑ 20 km/违规 ↑ 吞吐量 (SPS)↑ 0.3 0.3 0.3 15 15 1.5M 0.2 0.2 0.2 10 10 1M 0.1 0.1 0.1 5 5 500K 0 0 0 0 0 0 32 64 96 192 384 32 64 96 192 384 32 64 96 192 384 32 64 96 192 384 32 64 96 192 384 渲染分辨率 (像素，宽；16:9)

图 7：渲染分辨率扫描。在域内自博弈驾驶指标及 10 B-step Alberti 智能体在不同渲染分辨率下的训练吞吐量；每个分辨率训练一个策略。点表示中等交通密度；垂直线跨越不同密度范围。最右侧：在 32 张 H100 上的峰值自博弈训练吞吐量。

在每种场景通过移除随机比例的参与者进行稀疏化时，保持最安全并达成最多目标（100%、75% 和 50%）。完整的特权智能体仍比同等参考智能体具有更好的迁移能力，因此这种差异并非源于各自携带的特权信息量，而是源于观测模态。光栅化器将 CARLA 和 WOMD 的几何结构映射到相同的视觉词汇中，因此 Alberti 在这两者之间的观测变化很小；而向量化状态则暴露了车道几何形状、间距和伙伴速度等原始度量量，这些量的分布在手工编写和记录的布局之间存在差异。

不同分辨率下的驾驶质量与吞吐量。图 7 报告了 Pictura 10 B 智能体在五种渲染分辨率下的驾驶性能，以及 10 B 训练在 32 张 H100 上的自博弈吞吐量。每个分辨率对应一个单独训练的策略，因此面板展示了五个离散配置。安全指标在不同分辨率下保持稳定，而随着分辨率提高，目标完成率和每违规行驶距离持续改善。最右侧面板显示的吞吐量从 32×18（约 1.5 M 智能体步数/秒）到默认的 96×54（约 1.3 M）基本保持平稳，然后在 384×216 时降至约 284 K，总体下降约 5 倍。分辨率提升了目标完成率和每违规行驶距离；吞吐量为此付出了代价。由于该成本位于高分辨率端，仅在训练后期提高分辨率应以部分计算量获得高分辨率质量。

5.2 基于相机所见内容的接地

上述指标聚合了整个场景，平均化了仅透视视角的 Alberti 与向量化策略分道扬镳的各个时刻。本分析旨在找出这些时刻——即接地差异会改变策略行为的情境——询问相关信息是否被表示以及是否被采取行动。接地在部署时至关重要，因为此时透视视图是唯一可用的接口。

反事实探针揭示视觉接地。我们首先通过两个标数量来评估这种接地：值 V(o) 和制动概率

第 13 页

Pictura：用于驾驶的透视自博弈 13

1 Alberti | 2 0.5 向量化 |∆V 1 Alberti ∆V ‑0.50 向量化 0 ‑1

0.1 (制动)|0.050.1 (制动) 0.2 |∆P 0 ∆P 0 0 50 100 遮挡百分比 0 m 10 m 20 m 30 m (a) 聚合。(b) 单个被追踪的行人。

图 8：价值函数和制动概率对单个附近智能体的响应。 针对 Alberti（蓝色）和特权向量化基线（红色）：由单个附近道路使用者引起的价值变化 ∆V 和制动概率变化 ∆P(brake)。(a) 聚合：从场景中删除一个附近智能体后，|∆V | 和 |∆P(brake)| 的幅度，按场景均值与该智能体的遮挡程度绘制。(b) 单个合成行人沿冻结场景中的路径移动：俯视图（左）根据可见性对路径进行着色（绿色 → 红色，从完全可见到隐藏），并在其右侧读取沿路径的符号响应。

P(brake | o)，即分配给所有减速动作的总概率。对于每个附近的道路使用者，我们通过移除该使用者而保持场景其余部分不变来构建反事实观测 o′。然后我们计算 ∆V = V (o) −V (o′) 和 ∆P(brake) = P(brake | o) −P(brake | o′)，从 Pictura 渲染器获取该道路使用者的遮挡百分比，并按遮挡级别对响应进行分组。在 16 个场景中的 88 K 次移除中，图 8a 显示，随着遮挡增加，Alberti 的 |∆V | 和 |∆P(brake)| 减小，并在道路使用者完全隐藏时降至零，而特权策略即使在完全遮挡时仍保持敏感。图 8b 中被追踪的行人说明了这种对比。我们将行人沿固定路径在车辆后方移动；曲线下方的条带指示其可见性，从绿色的可见到红色的遮挡。当行人进入视野时，Alberti 的 ∆V 和 ∆P(brake) 偏离零，制动响应在行人完全可见的 20 米处达到峰值。当行人再次被遮挡时，两种响应都返回接近零。相比之下，特权策略即使在遮挡下仍保持敏感：其 ∆V 远离零，而其 ∆P(brake) 沿路径继续大幅变化。因此，Alberti 的决策依赖于视觉证据，而向量化基线可以利用部署时不可用的场景状态。

闭环驾驶揭示了感知遮挡的行为。我们进一步在闭环中扩展接地分析：我们选择记录的状态，其中自车接近一个盲区，对向车辆被遮挡，并让每个策略从相同状态接管。所有其他智能体继续沿其记录轨迹行驶。在数百次配对接管中（图 9a），Alberti 以较低的速度接近弯道，因此在车辆可见时与隐藏车辆的距离更远。从那时起，两种策略以相似的速率减速，表明 Alberti 在车辆可见之前建立了这种安全裕度，而不是通过之后的更强减速。在

第 14 页

14 Y. Yin et al.

隐藏车辆 无隐藏车辆 视野中首次观察到的 视野中清晰可见 隐藏车辆 × 10 ◦ 首次 车辆 速度 4 速度 5 相同状态 (m/s) (m/s) 可见 自车 2 无论如何都有路障 自车 Alberti 0 0 2 4 6 0 2 4 6 0 2 4 6 接管后秒数 接管后秒数 (a) 对接管进行聚合。(b) 一次接管示例。

图 9：盲弯处的闭环行为。对于相同的记录状态，Alberti（蓝色）和特权向量化智能体（红色）接管自车，而其他智能体则遵循其记录轨迹。(a) 存在遮挡对向车辆（左）和可比拟的空盲弯（右）时的平均自车速度；灰色带标记主要揭示时间。(b) 建筑物遮挡交叉交通的接管示例。×：隐藏车辆首次进入该智能体的输入；◦：它首次进入视线。

在没有遮挡对向车辆的可比拟盲弯处，特权智能体加速，而 Alberti 保持同等谨慎。在接管示例（图 9b）中，Alberti 在弯道前停下并谨慎前行直到车辆可见，而特权智能体加速通过前方的交叉口。仅基于摄像头的训练在视野极限处诱导谨慎行为，而特权智能体使用部署策略无法获得的信息调整其速度。这呼应了 LEAD [21] 中确定的可见性不对称性：将专家限制在传感器可观察的证据范围内，恰好移除了这类非因果演示，并提高了闭环性能。因此，我们预计除非专家的观测受到类似限制，否则从特权向量策略进行的蒸馏将继承相同的非因果行为。

6 结论

大规模驾驶自博弈不需要特权观测：它可以直接在透视图像上运行。Pictura 通过定制的 CUDA rasterizer 使这一过程变得实用，该 rasterizer 足够廉价地渲染每个智能体的视图，从而在普通 PPO 下从图像训练 Alberti。据我们所知，Alberti 是第一个从渲染的相机视图训练的自博弈驾驶策略；它在无法访问其特权观测的情况下，达到了与其向量化 counterparts 相当的性能，并零样本迁移到 WOMD 布局。Pictura 的栅格化帧与真实相机图像之间仍存在差距。缩小这一差距与我们在此研究的问题正交，且对齐方法 [11,25] 现在可以从已经基于相机所见进行 grounding 的策略开始。我们将 Alberti 作为该起点发布。

致谢

我们感谢 Ellington Kirby，他在向量模拟器上的早期工作为本项目奠定了基础；感谢 Waël Doulazmi 以及 Valeo DRIL 团队的其余成员

第 15 页

Pictura：用于驾驶的透视自博弈 15

感谢就仿真与强化学习进行的诸多宝贵讨论；以及 Lan Feng 就相关方向进行的慷慨讨论与探索性工作。本项目在 Jean Zay 超级计算机的 H100 分区上获得了由 GENCI 在 IDRIS 提供的计算 AI 和存储资源，感谢其通过 grants A0201016239、A0181016239 和 A0181016203 提供的支持。我们感谢 EuroHPC Joint Undertaking 授予项目 ID EHPC-AIF-2026FL01-075 和 EHPC-AIF-2026FL01-258 访问西班牙 BSC 的 MareNostrum5 的权限。本研究得到了 VISA DEEP AI 讲席的支持，该讲席由法国国家研究署（ANR，ANR-20-CHIA-0022）资助，并受益于 PostGenAI@Paris 集群，该集群受益于由 ANR 在法国 2030 计划（ANR-23-IACL-0007）下管理的政府资助。

参考文献

1. Amini, A., Wang, T., Gilitschenski, I., Schwarting, W., Liu, Z., Han, S., Karaman, S., Rus, D.: VISTA 2.0: An open, data-driven simulator for multimodal sensing and policy learning for autonomous vehicles. In: ICRA (2022) 4 2. Caesar, H., Kabzan, J., Tan, K.S., Fong, W.K., Wolff, E.M., Lang, A.H., Fletcher, L., Beijbom, O., Omari, S.: nuPlan: A closed-loop ml-based planning benchmark for autonomous vehicles. arXiv preprint arXiv:2106.11810 (2021) 4, 19, 20 3. Chen, D., Koltun, V., Krähenbühl, P.: Learning to drive from a world on rails. In: ICCV (2021) 4 4. Chen, D., Zhou, B., Koltun, V., Krähenbühl, P.: Learning by cheating. In: CoRL (2019) 4 5. Cornelisse, D., Cheng, S., Mandavilli, P., Hunt, J., Joseph, K., Doulazmi, W., Charraut, V., Gupta, A., Suarez, J., Vinitsky, E.: PufferDrive: A fast and friendly driving simulator for training and evaluating RL agents (2025), https://github.com/Emerge-Lab/PufferDrive 2, 4, 5 6. Cornelisse, D., Hunt, J., Zhang, Z., Doulazmi, W., Joseph, K., Fisac, J.F., Vinitsky, E.: Human-like autonomy emerges from self-play and a pinch of human data. arXiv preprint arXiv:2606.19370 (2026) 3 7. Cornelisse, D., Vinitsky, E.: Human-compatible driving agents through data-regularized self-play reinforcement learning. Reinforcement Learning Journal 1 (2024) 3 8. Cusumano-Towner, M.F., Hafner, D., Hertzberg, A., Huval, B., Petrenko, A., Vinitsky, E., Wijmans, E., Killian, T.W., Bowers, S., Sener, O., Krähenbühl, P., Koltun, V.: Robust autonomy emerges from self-play. In: ICML (2025) 2, 3, 5, 8, 18, 20 9. Dosovitskiy, A., Ros, G., Codevilla, F., López, A.M., Koltun, V.: CARLA: an open urban driving simulator. In: CoRL (2017) 3, 4, 5 10. Ettinger, S., Cheng, S., Caine, B., Liu, C., Zhao, H., Pradhan, S., Chai, Y., Sapp, B., Qi, C.R., Zhou, Y., Yang, Z., Chouard, A., Sun, P., Ngiam, J., Vasudevan, V., McCauley, A., Shlens, J., Anguelov, D.: Large scale interactive motion forecasting for autonomous driving : The waymo open motion dataset. In: ICCV (2021) 3, 4, 10, 26 11. Feng, L., Gao, Y., Zablocki, É., Li, Q., Li, W., Liu, S., Cord, M., Alahi, A.: RAP: 3d rasterization augmented end-to-end planning. In: ICLR (2026) 3, 4, 6, 8, 14

第 16 页

16 Y. Yin 等人

12. Gulino, C., Fu, J., Luo, W., Tucker, G., Bronstein, E., Lu, Y., Harb, J., Pan, X., Wang, Y., Chen, X., Co-Reyes, J.D., Agarwal, R., Roelofs, R., Lu, Y., Montali, N., Mougin, P., Yang, Z., White, B., Faust, A., McAllister, R., Anguelov, D., Sapp, B.: Waymax: An accelerated, data-driven simulator for large-scale autonomous driving research. In: NeurIPS Datasets and Benchmarks (2023) 4 13. Hu, Y., Yang, J., Chen, L., Li, K., Sima, C., Zhu, X., Chai, S., Du, S., Lin, T., Wang, W., Lu, L., Jia, X., Liu, Q., Dai, J., Qiao, Y., Li, H.: Planning-oriented autonomous driving. In: CVPR (2023) 1 14. Jia, X., Gao, Y., Chen, L., Yan, J., Liu, P.L., Li, H.: DriveAdapter: Breaking the coupling barrier of perception and planning in end-to-end autonomous driving. In: ICCV (2023) 4 15. Kazemkhani, S., Pandya, A., Cornelisse, D., Shacklett, B., Vinitsky, E.: Gpudrive: Data-driven, multi-agent driving simulation at 1 million FPS. In: ICLR (2025) 2, 4 16. Kirby, E., Boulch, A., Xu, Y., Yin, Y., Puy, G., Zablocki, É., Bursuc, A., Gidaris, S., Marlet, R., Bartoccioni, F., Cao, A.Q., Samet, N., Vu, T.H., Cord, M.: Driving on registers. In: CVPR (2026) 1, 4, 8 17. Lanctot, M., Zambaldi, V., Gruslys, A., Lazaridou, A., Tuyls, K., Pérolat, J., Silver, D., Graepel, T.: A unified game-theoretic approach to multiagent reinforcement learning. In: NeurIPS (2017) 3 18. Li, Q., Peng, Z., Feng, L., Zhang, Q., Xue, Z., Zhou, B.: MetaDrive: Composing diverse driving scenarios for generalizable reinforcement learning. IEEE Trans. Pattern Anal. Mach. Intell. 45(3), 3461–3475 (2023) 4 19. Li, X., Zhang, Y., Ye, X.: DrivingDiffusion: Layout-guided multi-view driving scenarios video generation with latent diffusion model. In: ECCV (2024) 4 20. Ljungbergh, W., Tonderski, A., Johnander, J., Caesar, H., Åström, K., Felsberg, M., Petersson, C.: NeuroNCAP: Photorealistic closed-loop safety testing for autonomous driving. In: ECCV (2024) 4 21. Nguyen, L., Fauth, M., Jaeger, B., Dauner, D., Igl, M., Geiger, A., Chitta, K.: Lead: Minimizing learner-expert asymmetry in end-to-end driving. In: CVPR (2026) 2, 4, 14 22. Pomerleau, D.A.: Alvinn: An autonomous land vehicle in a neural network. In: NIPS (1988) 1 23. Rahimi, A., Gerard, V., Zablocki, É., Cord, M., Alahi, A.: MAD: motion appearance decoupling for efficient driving world models. In: CVPR (2026) 3 24. Ren, X., Lu, Y., Cao, T., Gao, R., Huang, S., Sabour, A., Shen, T., Pfaff, T., Wu, J.Z., Chen, R., Kim, S.W., Gao, J., Leal-Taixé, L., Chen, M., Fidler, S., Ling, H.: Cosmos-drive-dreams: Scalable synthetic driving data generation with world foundation models. arXiv preprint arXiv:2506.09042 (2025) 4 25. Rowe, L., Girgis, R., de Schaetzen, R., Cornelisse, D., Grandhi, A., Heide, F., Vinitsky, E., Pal, C., Paull, L.: Scaling self-play for end-to-end driving. arXiv preprint arXiv:2606.19641 (2026) 2, 3, 4, 8, 9, 14 26. Schulman, J., Moritz, P., Levine, S., Jordan, M.I., Abbeel, P.: High-dimensional continuous control using generalized advantage estimation. In: ICLR (2016) 8 27. Schulman, J., Wolski, F., Dhariwal, P., Radford, A., Klimov, O.: Proximal policy optimization algorithms. arXiv preprint arXiv:1707.06347 (2017) 8 28. Shacklett, B., Rosenzweig, L.G., Xie, Z., Sarkar, B., Szot, A., Wijmans, E., Koltun, V., Batra, D., Fatahalian, K.: An extensible, data-oriented architecture for high- performance, many-world simulation. ACM Transactions on Graphics (2023) 4, 9

第 17 页

Pictura：用于驾驶的透视自博弈 17

29. Silver, D., Hubert, T., Schrittwieser, J., Antonoglou, I., Lai, M., Guez, A., Lanctot, M., Sifre, L., Kumaran, D., Graepel, T., Lillicrap, T.P., Simonyan, K., Hassabis, D.: A general reinforcement learning algorithm that masters chess, shogi, and go through self-play. Science (2018) 3 30. Suarez, J.: PufferLib: Making reinforcement learning libraries and environments play nice. arXiv preprint arXiv:2406.12905 (2024) 5 31. Tang, Y.: Towards learning multi-agent negotiations via self-play. In: ICCV Au- tonomous Driving Workshop (2019) 3 32. Tesauro, G.: Temporal difference learning and td-gammon. Communications of the ACM (1995) 3 33. Wen, Y., Zhao, Y., Liu, Y., Jia, F., Wang, Y., Luo, C., Zhang, C., Wang, T., Sun, X., Zhang, X.: Panacea: Panoramic and controllable video generation for autonomous driving. In: CVPR (2024) 4 34. Xiong, Z., Li, W., Wu, Z., Rangesh, A., Bonde, S., Hall, G., Tang, C., Hu, Y., Zhan, W.: TerraTransfer: Learning end-to-end driving policies without expert demonstrations. arXiv preprint arXiv:2606.17386 (2026) 2, 4 35. Yang, J., Chitta, K., Gao, S., Chen, L., Shao, Y., Jia, X., Li, H., Geiger, A., Yue, X., Chen, L.: ReSim: Reliable world simulation for autonomous driving. In: NeurIPS (2025) 3 36. Zhang, C., Biswas, S., Wong, K., Fallah, K., Zhang, L., Chen, D., Casas, S., Urtasun, R.: Learning to drive via asymmetric self-play. In: ECCV (2024) 3 37. Zhang, Z., Liniger, A., Dai, D., Yu, F., Van Gool, L.: End-to-end urban driving by imitating a reinforcement learning coach. In: ICCV (2021) 4 38. Zhou, H., Lin, L., Wang, J., Lu, Y., Bai, D., Liu, B., Wang, Y., Geiger, A., Liao, Y.: HUGSIM: A real-time, photo-realistic and closed-loop simulator for autonomous driving. IEEE Transactions on Pattern Analysis and Machine Intelligence (2026) 4, 8

第 18 页

18 Y. Yin 等

模拟器与训练细节

本节详述每智能体奖励与条件设置（A.1 节）、相机云台与策略架构（A.2 节），以及优化配方、超参数和硬件（A.3 节）。

A.1 奖励与条件设置

首先定义每步奖励，然后介绍从第 3.1 节中每智能体条件集 $C_i = (R_{\text{reward}}, C_{\text{dynamics}})$ 的系数采样分布。

奖励项。奖励遵循 Gigaflow 设计 [8]，由十一项组成：

$$ \begin{split} R ={}& R_{\text{goal}} + R_{\text{collision}} + R_{\text{off-road}} + R_{\text{stop-line}} \\ & R_{\text{comfort}} + R_{\text{l-align}} + R_{\text{l-center}} + R_{\text{velocity}} \\ & R_{\text{overspeed}} + R_{\text{reverse}} + R_{\text{timestep}}. \end{split} \label{eq:reward} $$

令 $p$ 为自车位置，$g$ 为活跃目标，$v$ 为带符号速度（m/s），$a_{\text{long}}, a_{\text{lat}}$ 为加速度（m/s$^2$），$\dot{a}$ 为加加速度（Jerk），$\theta_f$ 为相对于车道方向的航向偏移，$x_f$ 为相对于车道中心的带符号横向偏移（m），$d = |x_f – \alpha_{\text{center-bias}}|$，以及 $v_{\text{limit}}$ 为车道限速，各项定义如下：

$$ \begin{aligned} R_{\text{goal}} &= [\|p – g\| < \delta \mathbf{1}[\alpha_{\text{goal}} \wedge (v < v_{\text{goal}}) \big] \text{waypoint}] \\ R_{\text{collision}} &= – (\alpha_{\text{collision}} + 0.1\,|v|) \, \mathbf{1}[\text{collision}] \\ R_{\text{off-road}} &= -\alpha_{\text{off-road}} \, \mathbf{1}[\text{off-road}] \\ R_{\text{stop-line}} &= -\alpha_{\text{stop-line}} \, \mathbf{1}[\text{red-light violation}] \\ R_{\text{comfort}} &= -\alpha_{\text{comfort}}\big(\mathbf{1}[|a_{\text{long}}|^3] + \mathbf{1}[|a_{\text{lat}}|^3] + \mathbf{1}[|\dot{a}_{\text{long}}|^5 \vee |\dot{a}_{\text{lat}}|^5]\big) \\ R_{\text{l-align}} &= \alpha_{\text{l-align}}\,\Delta\big(\!\min(\cos\theta_f,0) + \alpha_{\text{vel-align}}\min(v\cos\theta_f,0) + 0.0025\,\big(1 – \tfrac{2}{\pi}|\theta_f|\big)\big) \\ R_{\text{l-center}} &= -\alpha_{\text{l-center}}\,\Delta\big(\mathbf{1}[\cos\theta_f < 0.5] \; 0.05\,e^{-(d-0.5)}\big) \\ R_{\text{velocity}} &= \alpha_{\text{velocity}}\,\Delta\max(\cos\theta_f,0)\,\mathbf{1}[v > 2.5] \\ R_{\text{reverse}} &= -\alpha_{\text{reverse}}\,\Delta\mathbf{1}[v < 0] \\ R_{\text{overspeed}} &= -\alpha_{\text{overspeed}}\,\mathbf{1}[v > v_{\text{limit}} + 2] \\ R_{\text{timestep}} &= -\alpha_{\text{timestep}}\,\Delta\mathbf{1}[|v| > 0 \vee |a| > 0] \end{aligned} \label{eq:reward-terms} $$

超速惩罚 $R_{\text{overspeed}}$ 是相对于 Gigaflow 奖励的补充项：当速度超过车道限速 2 m/s 以上时触发。对于行人智能体，仅激活目标和碰撞项：其余系数置零，且目标半径限制在 0.5 m 以内。

第 19 页

Pictura：用于驾驶的透视自博弈 19

表 2：条件系数的每智能体采样分布。 奖励系数（顶部，公式 4）和动力学乘数（底部）在每个回合重置时针对每个智能体重新采样，并通过条件向量 $C_i$ 暴露给策略。每个模块按两列系数/分布对排列，从左到右阅读。混合分布 $U_{mix}(1/a, a)$ 以相等概率从 $U(1/a, 1)$ 或 $U(1, a)$ 中抽取。

系数 训练分布 系数 训练分布

奖励条件 $C_{reward}$ $\delta_{goal}$ $U(2, 12)$ $\alpha_{vel-align}$ $U(0, 1)$ $v_{goal}$ $U(0, 20)$ $\alpha_{l-center}$ $U(2.5 \times 10^{-4}, 7.5 \times 10^{-3})$ $\alpha_{collision}$ $U(0, 3)$ $\alpha_{center-bias}$ $U(-0.5, 0.5)$ $\alpha_{off-road}$ $U(0, 3)$ $\alpha_{velocity}$ $2.5 \times 10^{-3}$ (固定) $\alpha_{stop-line}$ $U(0, 1)$ $\alpha_{reverse}$ $U(2.5 \times 10^{-4}, 7.5 \times 10^{-3})$ $\alpha_{comfort}$ $U(0, 0.1)$ $\alpha_{overspeed}$ $U(0, 1)$ $\alpha_{l-align}$ $U(2.5 \times 10^{-4}, 2.5 \times 10^{-2})$ $\alpha_{timestep}$ $2.5 \times 10^{-5}$ (固定)

动力学条件 $C_{dynamics}$ $C_{throttle}$ $U_{mix}(0.8, 1.25)$ $C_{acc}$ $U_{mix}(2/3, 1.5)$ $C_{steer}$ $U_{mix}(0.8, 1.25)$

条件分布。公式 4 的每个系数在每个回合开始时针对每个智能体独立重新采样，并通过奖励条件 $C_{reward}$ 暴露给策略；仅 $\alpha_{velocity}$ 和 $\alpha_{timestep}$ 保持固定。动力学条件 $C_{dynamics} = (C_{throttle}, C_{steer}, C_{acc})$ 收集随机乘数，分别缩放指令纵向加加速度、指令横向加加速度和最大前向加速度（$2.5 C_{acc} \text{ m/s}^2$）。表 2 列出了所有采样分布。

A.2 观测与策略架构

相机阵列。透视智能体观测由四个相机组成的阵列 $K_i$（前、左前、右前和后），其建模基于 nuPlan 的相机设置 [2]；表 3 列出了其共享的内参和每个相机的外参。相同的阵列用于训练和评估。

网络。表 4 列出了第 3.3 节所述策略在默认训练配置下的确切观测尺寸和层维度。主干（骨干网络、头部、动作空间）由两种模态共享；模态仅在观测编码器上不同。第 5.1 节中的两个向量化基线共享单个观测布局和网络形状，区别仅在于填充内容：相机无法感知的辅助槽位（自车车道中心距离、自车相对于车道的航向以及伙伴速度）对于 Vectorized 携带其真实值，而对于同类对比的 Vectorized† 则携带零值。透视观测不包含此类槽位。更重的预训练图像骨干网络（例如冻结的 DINO ViT）可以在相同的令牌池化接口后直接替换；所有报告的结果均使用从头开始训练的小型编码器。

第 20 页

20 Y. Yin 等

表 3：相机阵列。基于 nuPlan 相机 [2] 建模的四相机自中心阵列 Ki。左侧：所有四个相机共享的内参，以及训练期间默认使用的渲染分辨率。右侧：自中心坐标系（x 向前，y 向左，z 向上，单位为米；绕 z 轴的偏航角）下的每相机外参。三个前向相机重叠形成宽视场的前向视野，后向相机覆盖车辆正后方。

共享内参（所有相机） 每相机外参（自中心坐标系） 传感器规格 1920 × 1080 (16:9) 相机 x y z 偏航角 焦距 1545 px 前向 1.66 1.49 0° 视场角 38.5° −0.01 63.7°× 左前向 1.63 0.12 1.48 +55° 渲染分辨率 96 × 54 右前向 1.62 1.49 −0.16 −55° 后向 −0.47 0.02 1.43 180°

A.3 优化与超参数

表 5 列出了第 5 节所有训练运行共享的环境和优化超参数。无论观测模态如何，所有运行均使用相同的单阶段 PPO 配方。优势函数通过 GAE 计算并在每个小批量内归一化。遵循 Gigaflow 的优势过滤 [8]，在更新之前丢弃优势幅度低于运行估计的最大值 |ˆAt|（跨轨迹的指数移动平均，系数为 0.25）0.01 倍的转换；幸存的转换被洗牌并重复使用两个 epoch。学习率在整个运行过程中遵循余弦调度。多 GPU 运行将智能体和小批量跨等级拆分，并保持表 5 中的全局大小不变。

硬件。第 5 节中的透视 Alberti 运行使用 32 个 H100（8 个节点，每个节点 4 个），即图 7 报告吞吐量的配置；向量化基线在单个节点（4 个 H100）上运行。图 7 的渲染分辨率扫描涵盖五个 16:9 设置：32 × 18、64 × 36、96 × 54（默认值）、192 × 108 和 384 × 216。

B CUDA 光栅化器与 Madrona

本节比较了三种光栅化器配置：Pictura CUDA 光栅化器，其生产环境中运行的解析覆盖抗锯齿；Madrona 的重新实现，采用 Madrona 原生的每像素一个样本，这是正文基准测试中更快的配置；以及质量匹配的抗锯齿 Madrona 基线（AA），它通过超采样、以双倍分辨率渲染并进行盒状下采样来恢复 Pictura 的 2× 抗锯齿。由于论文中的每个 Pictura 数值已包含其抗锯齿效果，AA 是同等质量的比较。这三者在渲染质量（第 B.1 节）、训练步骤时间以及匹配该质量的墙钟成本（第 B.2 节）、渲染器峰值内存（第 B.3 节）以及每 GPU 小时的策略质量（第 B.4 节，以 Madrona 最快配置为基准）方面进行了比较。

第 21 页

Pictura：用于驾驶的透视自博弈 21

表 4：策略架构细节。默认训练配置下的观测尺寸和层维度。透视策略用一条输出宽度完全匹配的图像分支替换了向量化基线的四个实体集编码器；主干网络在各模态间保持一致。两个向量化基线共享一种观测布局：辅助槽在 Vectorized 中填充，在 Vectorized † 中设为零，因此两者的网络形状相同。

组件 值

共享主干（所有模态） 组嵌入宽度 64 主干 MLP，4 层 × 512，GELU 激活函数 Actor、Critic 共享主干，线性头 动作空间 联合离散，4 长. × 3 侧. 加速度阶跃

向量化观测编码器（两个基线） 自车向量 7 个浮点数（速度、尺寸、转向、加速度、限速） 辅助槽 +2 个浮点数：车道中心距离、车道航向余弦 伙伴特征 7 个浮点数（相对位置、尺寸、相对航向） 辅助槽 +1 个浮点数：伙伴速度 实体集 ≤16 个伙伴，≤80 条车道，≤80 条边界，≤10 个交通控制 每组编码器 2 层 MLP →64-d，对集合成员进行掩码最大池化 条件奖励系数 + 3 个目标航点 →64-d 主干输入 6 × 64 = 384-d

透视观测编码器（替换实体集） 相机 4 个（前、左前、右前、后），96 × 54 像素 RGB（16:9） Conv 堆栈 5 层，128 输出通道，从头训练 Token 池化 每个相机 16 个学习查询，1 个交叉注意力块 场景嵌入 4 × 16 个 token →512-d (= 4 × 128) 自车 + 条件 使用与基线相同的编码器，无辅助槽 主干输入 384-d（相同）

B.1 渲染质量

图 10 将每个场景的三种渲染结果并置。CUDA 和单样本 Madrona 在视觉上几乎完全一致，尽管并非逐位精确匹配；除了抗锯齿之外，Madrona 还缺乏逐面颜色，因此我们通过根据智能体是否朝向自车来对整个框进行着色来编码智能体方向。

随着分辨率降低，各行分离：CUDA 渲染保持清晰，车道线等细结构保持完整，而单样本 Madrona 在低于训练分辨率时会出现阶梯状伪影，仅当图像变大时才与 CUDA 匹配。超采样在很大程度上缩小了这一差距，即使在低分辨率下也能追踪 CUDA 渲染结果，这正是使其成为我们在 B.2 节中衡量成本的同等质量参考的原因。因此，在 Madrona 中匹配 Pictura 的质量意味着渲染多倍数量的像素，这引出了随后的比较。

第 22 页

22 Y. Yin 等

表 5：训练超参数。自博弈环境和 PPO 设置在所有训练运行中共享。Rollout 和小批量大小以智能体步数计，且为全局值：多 GPU 运行将其均匀分配给各等级（ranks）。

参数 值

自博弈环境 模拟时间步长 ∆t 0.1 s 剧集长度 1280 步 (128 s) 早期剧集重置 ≥40% 的智能体处于非活跃状态 训练地图 8 个 CARLA 城镇 (Town01–Town07, Town10HD) 每地图实例智能体数 ∼U{1, 120} 并发智能体 20 个环境 × 1024 = 20,480 行人/骑行者比例 0.1 / 0.1 每剧集停放车辆数 32

PPO 优化 Rollout 长度 128 步 Rollout 大小 20,480 × 128 = 2,621,440 小批量大小 65,536 每 rollout 的 epoch 数 2 折扣因子 γ 0.999 GAE λ 0.95 PPO 裁剪系数 0.2 价值函数裁剪 无 价值损失系数 0.5 熵系数 0.01 优化器 AdamW (β1=0.9, β2=0.999, ϵ=10−8, wd=0.01) 学习率 5 × 10−4, 余弦调度 最大梯度范数 0.5 每个小批量的优势归一化 优势过滤阈值 0.01× 运行最大值 |ˆAt| 精度 FP32

B.2 训练步骤时间分解

图 11 和表 6 将训练迭代分解为不同分辨率扫描中的各个阶段，涵盖所有三种光栅化器；正文图 5b 显示了相同的分解，但不包含 AA 基线。该基准测试是一个受控的单 H100-NVL 微基准测试，规模设定为一个生产等级：256 个智能体在 2 个环境中，128 步 rollout，65,536 转换的小批量配合梯度累积（32 个大小为 2048 的块），生产策略（64-d 组嵌入，512 宽主干），排除编译时间，并禁用优势过滤，以便三种方法执行完全相同的正向传播和优化工作。 因此，环境、正向传播、优化和其他阶段在测量噪声范围内达成一致，整个墙钟时间的差距在于渲染。Madrona 在裁剪前渲染一个最大(W, H)2 的正方形，并支付固定的每次调用成本，因此梯度累积和 128 步 rollout 中的许多小渲染调用放大了其

第 23 页

Pictura：用于驾驶的场景自博弈 23

32×18 64×36 96×54 192×108 384×216 768×432 Town01CUDA

Town01Madrona

AA Town01Madrona

Town07CUDA

Town07Madrona

AA Town07Madrona

图 10：跨分辨率渲染：CUDA 与 Madrona。同一场景的前置摄像头渲染图。每个场景分三行展示：Pictura CUDA 光栅化器（蓝色，解析抗锯齿）、其 Madrona 重新实现版本（橙色，每像素原生日光采样）以及图 11 中基准测试的质量匹配抗锯齿 Madrona 基线（紫色，2× 超采样）。

开销增加且随着分辨率提高速度差异扩大；CUDA 光栅化器以原生尺寸渲染每个相机，并随像素数量温和扩展。Madrona 每迭代渲染速度慢 13 至 16 倍，而 AA 基线慢 14 至 41 倍，后者光栅化的像素数量是前者的四倍。端到端迭代速度慢 2.1 至 3.0 倍，使用抗锯齿时最慢达 6.1 倍，其中 58% 至 86% 的时间花费在渲染上。Pictura 可达 384 × 216，其精简的渲染为编码器前向传播留出了空间，而两种 Madrona 配置均因内存不足而失败。由于基准测试是串行的，环境阶段位于关键路径上；生产训练将其与 GPU 计算重叠，因此渲染决定了吞吐量。

B.3 渲染器内存使用

表 7 报告了每个光栅化器在每个分辨率下渲染一个 2048-ego 块时使用的峰值 GPU 内存。它报告了设备级高水位标记（通过 cudaMemGetInfo 轮询器），该标记计算了 PyTorch 分配器统计信息遗漏的 Madrona 外部 SimManager 堆，并在单独一列中隔离了该固定的预分配堆。Madrona 的堆仅取决于渲染尺寸的平方，因此 192 × 108 和抗锯齿的 96 × 54（均为 192² 平方）预分配相同的 13.2 GiB，并随分辨率陡峭增长；CUDA 光栅化器不预分配任何内容，以受限于空闲内存一部分的批次流式传输，因此其峰值保持轻得多（每个分辨率下比 Madrona 少约 3 倍），Pictura 和 Madrona 均在达到 384 × 216 时因内存不足而失败。

第 24 页

24 Y. Yin 等

32 64 Pictura CUDA 96 (ours) 192 384 32 13× 64 13× Pictura Madrona 96 13× 192 16× 384 OOM OOM 32 14× 64 18× Pictura Madrona AA 96 31× 192 41× 384 OOM OOM

0 50 100 0 50 100 Wall‑clock (s) Share of iter. (%) rendering env forward optim other

图 11：训练步骤的挂钟时间分解，包括质量匹配的抗锯齿 Madrona 基线。图 5b 的微基准测试扩展了 2× 超采样抗锯齿 (AA) 的 Madrona，这是与 Pictura 的生产级 2× AA 质量匹配的基线；Pictura CUDA 和 Madrona 行重复图 5b 以供参考。白色标签给出了每个条形图相对于 Pictura 的渲染减速倍数。数据列于表 6。

在 768 × 432 分辨率下。这三个失败案例的原因各不相同：抗锯齿 Madrona 最先崩溃，发生在 384 × 216 时，其堆内存和下采样缓冲区总和超过了显存容量；在 768 × 432 时，Pictura 因输出张独的大小耗尽资源，而 Madrona 则因预分配堆内存耗尽。

B.4 每 GPU 小时的挂钟时间质量

最后一项比较将吞吐量优势转化为每 GPU 小时的政策质量。相同的透视智能体在 64 × 36 分辨率下训练两次，分别使用 Pictura CUDA 渲染器和其 Madrona 重新实现版本（每像素一个样本），每个实验限制在 20 亿智能体步数，图 12 跟踪了仅针对车辆的五项指标随挂钟时间的变化。此处 Madrona 运行时无抗锯齿，这是其最快的配置，因此对其最为有利，所以下文报告的加速比是与质量匹配的 AA 基线相比的下界。在步数匹配时，两者达到了等效的驾驶质量，因此渲染器仅改变了经验收集的快慢，而不改变每个样本的价值。结果是纯粹的加速：Madrona 需要 3.35 倍的时间才能达到 20 亿步的限制（10.2 小时对比 3.0 小时），因此在相同的挂钟时间内，CUDA 渲染的智能体看到了比例上更多的经验，并在所有指标上领先。

C 政策评估细节

本节定义驾驶指标（第 C.1 节）和两种评估设置（第 C.2 节），并跟踪训练过程中的向量化基线（第 C.3 节）。

第 25 页

Pictura：用于驾驶的透视自博弈 25

表 6：Pictura CUDA光栅化器与 Madrona 重新实现版本的每阶段训练步骤墙钟时间：有无抗锯齿。平均每次训练迭代的墙钟时间（秒），分解为环境（C 模拟器）、渲染、策略前向传播、优化和其他（主机/设备拷贝及记账），跨越分辨率扫描（单 H100-NVL 微基准测试；设置见附录 B.2）。每个光栅化器的峰值渲染内存见表 7。

光栅化器 分辨率 env 渲染 forward optim other 总渲染 × Pictura (CUDA) 32×18 6.93 0.84 0.60 0.53 0.28 9.17 — Madrona 32×18 6.90 10.89 0.64 0.57 0.28 19.28 13.0× Madrona (AA) 32×18 6.91 11.76 0.66 0.58 0.29 20.20 14.0× Pictura (CUDA) 64×36 6.90 0.94 0.75 0.80 0.27 9.65 — Madrona 64×36 6.97 11.82 0.78 0.80 0.28 20.65 12.6× Madrona (AA) 64×36 6.92 17.25 0.78 0.82 0.28 26.05 18.4× Pictura (CUDA) 96×54 6.89 1.06 0.98 1.15 0.27 10.35 — Madrona 96×54 6.96 13.33 0.99 1.15 0.28 22.70 12.6× Madrona (AA) 96×54 6.98 32.60 1.02 1.14 0.30 42.04 30.8× Pictura (CUDA) 192×108 6.93 1.99 2.68 3.57 0.28 15.45 — Madrona 192×108 6.94 32.70 2.62 3.52 0.32 46.11 16.4× Madrona (AA) 192×108 6.99 81.39 2.58 3.39 0.31 94.66 40.8× Pictura (CUDA) 384×216 6.92 3.88 9.44 14.08 0.30 34.61 — Madrona 384×216 内存溢出 — Madrona (AA) 384×216 内存溢出 —

C.1 指标定义

驾驶质量由五个仅针对车辆的指标总结：有责碰撞率 (Coll.)、路外率 (Off-road)、闯红灯率 (RLV)、达成目标数 (Goals) 以及每起违规行驶距离 (km/infr.)。每个比率都是针对受控车辆计算的每集指标平均值：如果在智能体其剧集的任何步骤中发生该事件，则智能体得分为 1，否则为 0，因此报告的比率是至少发生一次该事件的车辆剧集的比例。碰撞是智能体车辆与任何其他智能体之间的定向包围盒重叠；除非智能体车辆基本停止（<0.2 m/s）或被从后方撞击，否则视为有责。当车辆包围盒穿过道路边缘折线，或其中心离开可行驶地图时，触发路外事件。当车辆在控制信号保持红灯的情况下，在 10 米内且航向对齐在 45◦ 以内时，穿过或变道进入停止线，触发闯红灯事件。当车辆距离目标 2 米以内时，视为达成目标；Goals 报告每辆车的平均达成数，在 WOMD 自博弈中每辆车一个，因此等同于到达的比例。每起违规行驶距离将受控车辆行驶的总距离（累积为速度 × ∆t）除以包含至少一起违规（计算路外、碰撞和闯红灯事件）的车辆剧集数量。

第 26 页

26 Y. Yin 等

表 7：渲染一个训练批次所需的峰值 GPU 内存，跨分辨率。 渲染单个 2048-ego 块（8192 个场景，4 个视角）所需的峰值设备内存（GiB）， 在单个 95 GB H100 NVL 上隔离测量。峰值是设备级的高水位标记，它计算了 Madrona 的外部 SimManager 堆，而 PyTorch 的分配器统计信息会遗漏该堆；堆隔离了该固定、预先分配的内存（第 B.3 节；基准测试设置见第 B.2 节）。OOM 标记耗尽显卡的配置。

分辨率 光栅化器 峰值 堆 分辨率 光栅化器 峰值 堆

Pictura 5.6 — Pictura 9.2 — 32×18 Madrona 9.4 8.8 192×108 Madrona 22.6 13.2 Madrona AA 10.3 9.2 Madrona AA 57.4 26.7

Pictura 5.8 — Pictura 20.5 — 64×36 Madrona 10.5 9.2 384×216 Madrona 63.3 26.7 Madrona AA 14.4 10.7 Madrona AA OOM

Pictura 6.3 — Pictura OOM Madrona 12.4 9.9 768×432 Madrona OOM 96×54 Madrona AA 21.1 13.2

C.2 评估协议

评估两种设置。域内（In-domain），每个策略在八个训练地图上的新生成自博弈场景中运行，具有三种固定的车辆密度：轻、中、密（每世界分别为 60、120 和 150 个智能体，分别占训练期间看到的每世界最大智能体数量的 50%、100% 和 125%）；每种密度平均包含 200 个场景，每个场景 3000 步（5 分钟），动作以确定性方式（argmax）执行。零样本（Zero-shot），相同的策略驱动 WOMD [10] 验证布局，通过 Pictura 重新渲染：每辆车从其记录的开始位置向其最终记录的路点（其单个目标）行驶，到达后移除，而已经到达目标的车辆则继续回放日志作为上下文；剧集限制为 600 步（60 秒），并对 44,097 个验证场景中的 44,073 个进行评分（其余 24 个仅包含停放的车辆）。域内设置报告所有五项指标；零样本设置报告与其相关的三项指标：碰撞（Coll.）、路外（Off-road）和目标（Goals）。 两种地图源在道路几何存储的精细程度方面也有所不同，向量化观测对此敏感：CARLA 训练地图被预先分块为最多 10 米的段，而 WOMD 保留原始折线，其段长约 100 米。每个段作为单个中点和半长度进入观测，因此一个粗糙的段会代表与 ego 并行的道路边缘，其点距离数十米远，且其长度特征会超出策略训练时的归一化范围。因此，在观测时将长段细分为最多固定跨度的相等部分，从而恢复类似训练的粒度。对该跨度的扫描将最佳零样本性能置于 5 米，这是报告数值所使用的值。细分仅应用于 WOMD 布局；域内评估在地图的原生 10 米分块上运行，与训练时保持不变。

第 27 页

Pictura：用于驾驶的透视自博弈 27

0.3 碰撞↓ 驶出道路↓ 闯红灯↓ 8 目标↑ km/次↑ 0.4 4 0.2 0.2 6

4 0.1 0.2 0.1 2 2

0 0 0 0 0 0 2 4 6 8 10 0 2 4 6 8 10 0 2 4 6 8 10 0 2 4 6 8 10 0 2 4 6 8 10 挂钟时间 (h) 挂钟时间 (h) 挂钟时间 (h) 挂钟时间 (h) 挂钟时间 (h)

图 12：挂钟时间对比：Pictura（CUDA光栅化器）与 Madrona 重新实现版本。使用两种渲染器之一训练的同一透视智能体，均达到 20 亿智能体步数（Pictura (CUDA)，实心蓝线；Madrona，虚红线）。每个面板追踪一项仅针对车辆的指标，在中等密度（120 个智能体，粗线；带状区域涵盖 60 至 150 的稀疏至密集范围）的保留 gigaflow 自博弈评估集上进行评估，横轴为达到每个检查点时的挂钟时间。两种渲染器在匹配步数时达到相当的驾驶质量，但 Madrona 的曲线在挂钟时间上延伸了 3.35 倍（达到 20 亿步数分别为 10.2 小时与 3.0 小时）。挂钟时间包括每次运行的启动和编译时间。

透视观测无需此类调整，因为光栅化器直接投影折线本身。

C.3 训练过程中的向量化基线

图 13 追踪了两种向量化基线在训练过程中的表现，分别包含和不包含透视智能体无法感知的辅助特征（自车车道中心距离、车道朝向和伙伴速度）。两者均稳步提升，并在 500 亿智能体步数时达到相当的驾驶质量，而辅助特征策略在车道保持（驶出道路和 RLV）方面领先，这些指标直接受其特权输入的影响。Alberti 的中等密度轨迹（虚线）追踪了这两种基线，并随着训练的进行逐渐缩小差距，这正是本文研究的透视视图差距（表 1a）。

第 28 页

28 Y. Yin 等

0.4 0.4 0.4 20 碰撞 ↓ 驶离道路 ↓ 闯红灯 ↓ 目标 ↑ km/次违规 ↑ 0.3 0.3 0.3 15 40 0.2 0.2 0.2 10 20 0.1 0.1 0.1 5 0 0 0 0 0 0 25B 50B 0 25B 50B 0 25B 50B 0 25B 50B 0 25B 50B (a) 向量化状态，含辅助特征。

0.4 0.4 0.4 20 碰撞 ↓ 驶离道路 ↓ 闯红灯 ↓ 目标 ↑ km/次违规 ↑ 0.3 0.3 0.3 15 40 0.2 0.2 0.2 10 20 0.1 0.1 0.1 5 0 0 0 0 0 0 25B 50B 0 25B 50B 0 25B 50B 0 25B 50B 0 25B 50B (b) 向量化状态†，不含辅助特征。

图 13：训练过程中的向量化自博弈。两种 50 B 向量化策略在训练期间的自博弈指标，分别包含和不包含透视智能体无法感知的特权观测（Privileged observations）。中等粗细线条；带状区域表示从浅到密的范围；淡蓝色虚线为 Alberti 的中密度轨迹（图 6）。