PROVIA：第一人称视频里按工序状态做在线错误检测

快速导读：PROVIA 把各 actor 实际做过的步骤与自动机上被接受的进度分开，只在正确状态分支推进工序，并用 Shiryaev–Roberts 在验证集误报预算下把逐步错误概率变成报警。

Karlsruhe Institute of Technology 与湖南大学的 PROVIA 把第一人称工序助手写成在线推断问题：只能看已经到来的帧，必须在下一步开始前决定要不要打断，并且人纠正之后还要继续工作。项目代码 https://github.com/Kratos-Wen/PROVIA 。

关键区分是两本账。事实状态记住每个 actor 实际做过的步骤，包括做错和纠正；被接受进度是过程自动机状态与各 actor 执行状态的精确后验，只有正确分支才推进工序。逐步错误概率乘上完成门控，再经 Shiryaev–Roberts 在验证集误报预算下变成报警。作者在 CaptainCook4D、IndustReal、HoloAssist 与 IMPACT-ego 上，用同一套滤波和优化规则，步骤级 AP/AUROC 高于所评受控对照；在 0.1 误报/分钟预算下，烹饪与 HoloAssist 的报警召回也高于对照。

英文题目：PROVIA: Procedure State Tracking for Online Mistake Detection in Egocentric Videos

论文出处：arXiv 每日论文精选 · arXiv:2609.20638

原始论文：PDF / 论文页面

这篇论文解决什么问题？

错误没有单一形状：菜放错原料或顺序、装配坐错零件或用错工具，都算。它还取决于尺度（有的动作慢到能盯，有的几乎一开始就结束）以及谁在动（双手任务里每只手角色不同）。自我中心相机只持有增长前缀：不知道当前步何时开始，不能看未来，也不能在将要评分的录像上选阈值。

工序还有两条结构性质。独立步骤可交换，所以前缀之后的合法继续是一个集合而不是单一步。错误会改变工作状态，后面每一步都该对照实际做过的事，而不是对照那份已经被破坏的计划。

PREGO 与 DTGL 使用的 first-mistake 协议把测试录像切在第一次错误，再问方法自己的哪一段是最后一段。作者给出四条测量：Assembly101 全标注 707 个错误里 73% 发生在更早错误之后，协议测不到它们；两个固定时刻事件、第二个标成错误，在两条基准上平均 F1 为 1.000 且完全不看帧；仅用长度/步数先验或归一化位置就能把终端事件分开；Assembly101-O 测试 47 名被试里 35 人出现在训练。于是“检测”可能只是在猜最后一个切段。

PROVIA 改为给完整试验打分，正确执行也保留；方法只知道任务、看不到查询步边界与对错标签。每个标注步拥有完成格子。报警落在错误格子内或格子结束后的下一次决策才计召回；落在正确步格子里算误报，即使它碰巧也记到了前一个错误。误报按正确操作分钟数计。阈值在验证集上按 0.1 / 0.5 / 1.0 误报每分钟冻住。三个不看视频的位置对照走同一套顺序规则；只有超过全部对照，作者才把检测记到方法头上。

核心创新

指出 first-mistake 协议允许无感知满分，并改为在完整试验、验证集误报预算与无感知对照下评测。
同一滤波把事实状态与被接受进度分开，错误不推进工序状态，纠正对照实际做过的历史。
用顺序检测把逐步错误概率变成受预算约束的报警，一套滤波与优化规则覆盖单人与双手标注。

方法概览

共享因果分割把每个 actor 的描述子流切成穷尽步骤段。正确示范被解码成 actor 标记步骤序列，经贝叶斯状态合并得到过程自动机。查询时事实状态 H_i 在每段结束更新，记下实际观测；精确滤波 B_i(s,m) 只在正确状态分支上沿自动机转移，错误/纠正/插入保持源状态。逐步报告 a_{i,t}=c_{i,t} p(m_i=M)，完成门控乘上错误后验；证据比 ξ_i 送入 Shiryaev–Roberts，S_i≥τ 报警且只重置 S。分割先训并冻结，观察模型在冻结段上优化，错误监督不能改边界或自动机。

图 1 左：正确执行经共享在线分割得到 actor 标记步骤序列，前缀树再经贝叶斯状态合并成自动机 G=(S,U,ρG)。查询流走同一分割，得到完成危险 h、步骤因子 π 与段完成时刻。绿盒里段 GRU 读当前段，事实状态 H_i 在段结束更新；观察势 ℓ 与参考转移 R 进入过程状态信念 B_i(s,m)。错误/纠正保持源状态（红禁止符 cannot alter transition）。左下完成门控把未完成质量挡在报告之外，Shiryaev–Roberts 在验证阈值 τ 处报警并只重置 S。
图 1 右：分割是共享因果标记点过程。事件模型输出危险 h_t=1−e^{−λ_t δ}，标记模型输出 verb/noun/tool 因子。K=1 用膨胀因果深度卷积栈；K=2 用逐帧双层映射与竞争风险相位。解码是下一事件时间的因果后验中位数，不用分数、时长或抑制阈值。
式 1：两段不可比历史在合并证据增益 Δ>0 时合并，无需相似度阈值或编辑代价；祖先与后代不合并，以保留重复与顺序灵活。未见过的继续保留 Jeffreys 预测概率 ε。步骤效应 β_i(u) 来自描述子差的对角高斯随机效应（式 2）。
滤波式 3–7：H 记录观测，B 记录被接受进度。分类器可以重加权相信哪些源状态，但不能选择被接受进度往哪走。顺序检测式 8：ξ_i 是后验赔率对先验赔率之比，S_i=(1+S_{i−1})ξ_i。学习上分割先训冻结，自动机从解码抽出，观察模型在冻结段上用先验保持的 case-control 对数分（式 9）；未标注纠正时对 C 与 Cr 边缘化，避免把纠正改标成错误。

逐图理解论文

研究缺口

第 4 页 Fig.1 方法总图，用作架构图。左列：参考执行与查询视频共享 Encoder 与 Online step segmentation；解码序列经 Prefix tree construction 与 Bayesian state merging 得到橙色自动机 G=(S,U,ρ_G) 与 Reference transition R_{t,t'}(s,s')。绿盒是段 GRU、事实状态 H_i 与观察势；红禁止符标出错误/纠正不能改转移。左下 a_{i,t}=c_{i,t}p^M_{i,t} 曲线与 S_i 报警。右列浅蓝分割模块：Event model / Mark model、K=1 膨胀因果卷积与 K=2 竞争风险。先读左上参考如何变成自动机，再读查询如何更新两本账，最后看右侧共享分割。

实验证据

这份资产虽然编号是 figure-02，裁切并不是 Fig.2 的左半，而是第 7 页左栏。顶部是表 III：推理时去掉组件的 AP，PROVIA 全模型 HoloAssist/IndustReal/CaptainCook4D 为 .131/.153/.364，去事实状态降到 .113/.138/.328。中部正文写过程信念贡献很小（后继仅 1.01–1.18）、完成门控在 IndustReal 最有用、烹饪基准错误率 .318 且无错示范很少。下部 E. Qualitative Results 用文字复述 Fig.2：六次报警都在错误格内，九个错误里八个被记到，23 秒那次没有决策。右侧只露出 Fig.2 题注碎片。读表 III 再读这段文字，不要把它当成时间轴图。

Fig

Fig. 2. One CaptainCook4D test execution (Zoodles, 656 s) with the seed- 0 model. Top: frames from six of the steps, three seconds before their completion, with the step index and the annotated error types above each frame and a line to the frame time. Second row: the twelve annotated steps as their completion cells, red for mistakes and green for correct steps, with the eighteen predicted completions as ticks. Third row: the reported mistake probability ai,t at every frame. Bottom: the Shiryaev–Roberts statistic Si at each completion against the threshold τ frozen on validation at 0.5 false alarms per minute; the shaded regions above τ are the alarms.

第 7 页资产上半切进了表 II 残片（可见 IndustReal/HoloAssist/IMPACT 的 AP、AUROC，最底行加粗为 PROVIA），主体才是 Fig.2。六张烹饪帧标 step 3/5/6/8/9/10，其中 step 9 为绿 correct，其余红错误类型。第二行十二格完成单元，红多绿少，黑 tick 是十八个预测完成。第三行蓝线 a_{i,t}，纵轴约 0–0.2。底行黑折线 S_i 对虚线 τ，红阴影为报警，横轴 0–约 656 秒。先忽略残表，按时间从左到右把帧、格子、概率与统计量对齐。

实验如何设计？

表 I：CaptainCook4D 烹饪、94 类、中位约 14 步/次、粒度约 43 s、K=1；IndustReal 装配、6 类、约 6 步、38 s；HoloAssist 混合任务、122 类、约 63 步、1.9 s；IMPACT-ego 拆卸、K=2、步长短到 1–2 秒。外测试错误数 442 / 17 / 931 / 177。三随机种子取均值。
单 actor 共享冻结 DINOv2 ViT-S/14、224×224、8 Hz。IMPACT 上该特征 AUROC 仅 .45–.49，故改 YOLOv9 手检测加在训练折步骤标签上微调的 DINOv2-S。所有对照吃同一段、同一过去帧。
对照：Causal-TCN；Controlled PREGO（官方 MiniROAD 识别器加从正确训练前缀学的确定性预期器，连分打分）；MistSense-RGB-style。位置对照按序号、已过时间或训练步错误频率打分。PROVIA 可训参数约 0.71–0.78M，无逐数据集头或语言模型；A100 上 58–70 fps。
步骤级 AP/AUROC 在标注步上取因果前缀最大错误分；短于 0.5 s 的段不评分。报警协议见第 2 页。

关键结果与论文证据

表 II（第 7 页）：PROVIA 在四个基准的 AP 与 AUROC 均为所评受控对照最高。HoloAssist 上相对最强基线的 AP 优势最大；去掉事实状态会切走其中约七分之一（表 III：.131→.113）。
表 III 与 figure-02-p007-02 裁切中的数字表：推理时重置 H_i，三基准 AP 都下降；从零重训一个没有 H 的同参数模型，在 HoloAssist 与 CaptainCook4D 上仍低于完整模型。过程信念几乎无益，因为自动机近线性。完成门控在 IndustReal 上最值钱（.153→.119），在 CaptainCook4D 上甚至略伤 AP。
表 IV（第 8 页）：0.1 预算下 CaptainCook4D 召回 .154、实测 FA .075，对照最高 .128；HoloAssist .034 vs .015，且每个预算都领先。IndustReal 上时间位置对照召回 .294，没有方法超过全部无感知对照——该集每条执行大约只有 6 段，验证错误也少。HoloAssist 在 0.5 预算下后续错误召回 .126，约是基线两倍。
图 2（figure-02-p007-01）跟一条 Zoodles 试验 656 秒：十二个标注步里多数为红错误格，第 9 步绿正确；十八个预测完成打在格上。a_{i,t} 在步内上升，S_i 越过验证集 0.5 误报/分钟阈值的阴影即报警。正文：六次报警都落在错误格，八个错误中的九个被记到，但第 23 秒那次因首次分段到 48 秒才完成而没有决策。
0.5 预算下，PROVIA 检测有 .82（烹饪）与 .89（HoloAssist）发生在下一步之前；HoloAssist 中位延迟 0.5 秒，基线 1.0–1.6 秒。

阅读时需要注意

自动机近线性，过程状态信念在步骤级几乎只是位置；烹饪基准无错示范太少，自动机像少数轨迹的前缀树。
IndustReal 在报警协议下不能胜过不看视频的对照，作者不把该集记为检测成功。
IMPACT 必须换域内手-物特征，短步与双手交错仍限制身份识别；开着每只手的未完成步才把覆盖从 57% 提到 86%。
分割一旦晚于第一个错误格子，该错误无法被召回。定性只有一条烹饪录像。预印本，九页短文。

关联工作

PREGO 与 DTGL 把识别史（含错误）写进下一步，或用任务图预期；PROVIA 让错误留在事实状态里，但不让它推进被接受进度。
MistSense 强调手势与解释；本文对照其 RGB 路径，并把所有方法接到同一分割与同一误报预算。
Assembly101 提供“每个错误都算”的动机，但本文主表改用四套完整试验基准，避免 first-mistake 切段。
GuideMe 与 Plan-Watch-Recover 更接近助手产品形态，却不报告说错速率；PROVIA 把误报预算写成一等公民。
贝叶斯状态合并与 Shiryaev–Roberts 都是经典工具，新意在于把它们接到自我中心工序的两本账。