当视觉压倒认知:VLM个性化安全中的视觉主导性与基于延迟的方法
该论文提出了MPS-Bench基准以评估VLM的个性化安全,揭示了视觉信息在早期融合阶段抑制文本风险信号的“视觉主导性”机制,并设计了轻量级输入监控模块PRISM,通过双向跨模态调制预测风险并实现安全延迟,显著提升了安全性与效用平衡。
该论文提出了MPS-Bench基准以评估VLM的个性化安全,揭示了视觉信息在早期融合阶段抑制文本风险信号的“视觉主导性”机制,并设计了轻量级输入监控模块PRISM,通过双向跨模态调制预测风险并实现安全延迟,显著提升了安全性与效用平衡。