SafeGen:用VLM逆向推理生成安全关键视频,测试自动驾驶模型极限
本文介绍SafeGen框架,解决现有模拟器生成安全关键场景时存在的Sim-to-Real差距问题。通过VLM推理识别潜在脆弱性并定义灾难性终点,再利用FLF2V模型生成物理合理且时间连贯的对抗性视频。实验显示,该方法在nuScenes数据集上显著降低VLMAD的感知对齐与规划合规性,并提升模型微调后的准确率。需注意生成内容的高逼真性可能带来的伦理风险及评估指标的主观性。
本文介绍SafeGen框架,解决现有模拟器生成安全关键场景时存在的Sim-to-Real差距问题。通过VLM推理识别潜在脆弱性并定义灾难性终点,再利用FLF2V模型生成物理合理且时间连贯的对抗性视频。实验显示,该方法在nuScenes数据集上显著降低VLMAD的感知对齐与规划合规性,并提升模型微调后的准确率。需注意生成内容的高逼真性可能带来的伦理风险及评估指标的主观性。