隐式天气难题

MeteoVerse：统一天气可控的视频世界模型

作者

快速导读：MeteoVerse 显式建模观测与目标天气之间的过渡，并用 MeteoMoE 把保留、引入、去除统一进相机可控视频世界模型。

视频世界模型既要跟相机轨迹推演未来，也要面对雨雪雾带来的外观与能见度剧变。难点在于：所需修改取决于观测天气与目标天气的关系——有时要保留，有时要引入，有时要去除。若只把目标天气塞进文本条件，骨干往往把天气演化与场景运动、相机运动搅在一起推断，控制就容易失手。

MeteoVerse（arXiv:2609.36810 ，哈工大 / 华为）把观测态与目标态显式估计出来，用差分过渡驱动过渡感知天气专家混合模块 MeteoMoE，在冻结的 LingBot-World 上统一三类天气操作，并配套超五万真实天气片段与伪配对晴天数据。项目页 https://meteoverse.github.io/ 。

英文题目：MeteoVerse: Unified Weather-Controllable Video World Model

论文出处：arXiv 每日论文精选 · arXiv:2609.36810

原始论文：PDF / 论文页面

这篇论文解决什么问题？

真实未来观测不只是“看什么、从哪看”，还取决于“在什么天气里展开”。雨、雪、雾会改变反射、遮挡与可见结构；世界模型若忽略这一维，生成视频可能在相机正确时仍天气错乱。

现有可控视频世界模型多在内容与视角上成熟，却常把天气留给隐式通道。Holo-World 等开始引入恶劣天气，但仍偏晴天输入与引入设定，去除与恶劣输入上的保留覆盖不足。

因此需要一个统一接口：给定单张晴天或恶劣图像、无天气场景描述、目标天气指令与相机轨迹，显式决定保留、引入或去除，并尽量不牺牲场景身份与相机跟随。

核心创新

  • 显式天气状态过渡：用连续雨雪雾强度向量表示观测与目标，差分统一保留/引入/去除语义。
  • MeteoMoE：过渡感知天气专家混合，把类别残差特征注入 DiT 文本交叉注意力之后。
  • MeteoVerse 数据集：>50K 真实天气片段 + 伪配对晴天，含解耦描述、强度标注与相机轨迹。
  • 在天气对齐与用户研究上显著抬升可控性，同时保持竞争性场景一致性与相机误差。

方法概览

以单张晴天或恶劣天气图像、无天气场景描述、目标天气指令与相机轨迹为条件。天气状态预测器估计观测态 ssrc 与目标态 star，差分得到过渡 strans。MeteoMoE 按雨/雪/雾专家交叉注意力抽取类别特征，用过渡分量调制后自注意力融合，残差注入冻结的 LingBot-World DiT；配合 LoRA 适配。另构建超 50K 真实雨雪雾片段与伪配对晴天视频，监督四种输入—目标组合。

  • 条件被拆成无天气场景描述 ps、目标天气指令 pw 与相机轨迹 C。天气状态预测器（LoRA 微调的 Qwen3-VL-2B）估计 ssrc 与 star，二者差分得到 strans；状态用雨/雪/雾三维连续强度向量表示，晴天为零向量。
  • 正的分量表示引入，负的分量表示去除，零分量表示该类天气保持。训练时可用标注状态直接算过渡；推理时才启用预测器，用户也可在晴天引入时指定目标强度。
  • MeteoMoE 插入每个 DiT 块的文本交叉注意力之后：以文本特征为查询，分别对雨雪雾专家 token 做交叉注意力，再用对应过渡分量调制，经轻量自注意力融合后残差写回。骨干场景与相机通路保持，天气残差专注“该改什么”。
  • 数据侧收集逾 50K 条 81 帧真实雨雪雾片段，解耦场景/天气描述、强度标注与相机轨迹，并用生成模型构造伪配对晴天视频；重组为晴保、恶劣保、引入、去除四类监督对。训练冻结骨干，优化 MeteoMoE 与自注意力/FFN 上的 LoRA，目标为流匹配加重建与感知损失。

逐图理解论文

隐式天气难题

隐式天气难题
Figure 1: Overview of MeteoVerse, which supports weather preservation, introduction, and removal from sunny or adverse-weather inputs under prescribed camera trajectories. ods can introduce or remove weather effects while preserving the structure and motion of an existing video (Lin et al., 2025; Qian et al., 2026), but assume that the complete source video is already avail- able. More recently, Holo-World brings weather control into single-image video world modeling by jointly controlling camera motion and adverse-weather generation (Yin et al., 2026). However, it assumes a sunny input and mainly focuses on weather introduction, leaving weather removal un- explored. These limitations motivate a unified formulation that can operate from either sunny or adverse-weather observations and explicitly control how weather evolves into the future.

图1总览四类能力：天气引入、去除、晴天保留与恶劣保留，均在给定相机轨迹下从单图展开。适合开篇说明“统一天气可控”而非只做引入。宜作特色图。

显式过渡

显式过渡
Figure 2: Overview of MeteoVerse. The weather-state predictor estimates the observed and target weather states and derives the required weather transition. MeteoMoE modulates the rain, snow, and fog experts according to the corresponding transition components, fuses their responses through self-attention, and residually injects the resulting transition-aware features into the DiT backbone.

图2是方法架构：天气状态预测器产出观测/目标态并差分得过渡；MeteoMoE 按雨雪雾专家调制后融合，残差注入 DiT。是理解显式过渡与专家混合的主图。

关键证据

关键证据
Figure 4: Visual comparisons on weather introduction and removal. More results are in the Suppl.

图4对比引入与去除的视觉结果，对照 UniDiff/GENIE/VicoCraft/NeoVerse/LingLong-World 等；MeteoVerse 在雾雨雪引入与清除上更贴目标指令，同时保持场景与相机推进。

实验如何设计？

  • 评测：100 个留出真实场景，覆盖晴→晴、晴→恶劣、恶劣→晴、恶劣→恶劣，共 400 例；保留任务对晴/恶劣子集等权平均。
  • 对照：Uni3C、GEN3C、VerseCrafter、NeoVerse、LingBot-World，输入图像、场景描述、目标天气与轨迹一致。
  • 指标：VBench-I2V（主体/背景一致性、运动平滑、动态程度、美学与成像质量；Overall 仅保留任务报告）、相机 RotErr/TransErr、Weather Alignment、VLM Evaluation、盲测用户研究。
  • 另做天气控制表征消融与预测器下游敏感性分析；实现上渐进加长至 81 帧、分辨率至 480×832。

关键结果与论文证据

  • Weather Preservation：Overall Score 86.70，Weather Alignment 93.00，User Study 80.90，多项天气指标领先（页7，Table 1）。
  • Weather Introduction：Alignment 61.00、VLM 54.15、User 66.70，相对对照约 5–29 的 Alignment 拉开明显差距（页7，Table 1）。
  • Weather Removal：Alignment 89.00、VLM 77.92、User 82.40，去除类天气可控性显著更强（页7，Table 1）。
  • 场景一致性与动态程度保持竞争力；相机误差并非全面最低，但整体折中仍可用。
  • 消融表明仅用目标天气提示不足，显式过渡与 MeteoMoE 共同抬升天气指标；预测状态相对标注状态下游 Alignment 81.00 vs 82.00，接近可用（页8/13）。

阅读时需要注意

  • 伪配对晴天依赖生成模型，可能引入去天气伪影或几何偏差，进而影响去除/引入监督质量。
  • 主线覆盖雨雪雾三类与 LingBot-World 骨干；复合天气、极端强度与其他世界模型骨干仍需外推验证。
  • 引入设定的 Alignment 虽大幅领先，绝对水平仍低于保留与去除，细粒度强度与外观一致性仍有空间。

关联工作

  • LingBot-World 提供相机可控视频世界预训练骨干。
  • Holo-World 把天气控制引入单图世界建模，侧重引入。
  • 视频去天气/天气合成方法多假设完整源视频已存在，与单图未来预测设定不同。

发表评论