生成式视频编码首次实时解码!ReGenVC 如何用蒸馏与8卡并行突破时延壁垒

方法贡献:蒸馏与并行协同

生成式视频编码能在超低码率下合成清晰视频,但扩散解码器太慢,一直无法实时运行。ReGenVC 针对说话人头像场景,将 20 步扩散教师蒸馏为 4 步学生,再通过 8 路统一序列并行、空间分割 VAE 和三级重叠流水线,在 8 张 RTX 5090D 上实现 24 fps 稳态解码,总码流仅约 26 kB。系统留有约 28 ms 余量,但余量较窄,且目前仅在单人固定镜头场景下验证,通用性有待扩展。