视频异常检测

VAU-R1 精读:答对了,为什么解释反而可能变差?

拆解VAU-R1的GRPO奖励、任务迁移与标注链,逐表核对跨域定位收益、域内SFT反例和解释退化,区分答案正确、时间证据与真实因果理解。

VAU-R1候选响应经格式准确性和时间IoU奖励反馈模型的流程

先说判断:奖励让答案更可核验,但不保证解释更真实

VAU-R1 最值得读的地方,不是给视频模型套上“先思考再回答”,而是把异常理解拆成选择题、时间区间、文字解释和类别判断,观察哪些任务能从可计算奖励中获益。它在跨数据集定位上给出有价值的正证据,也留下同样重要的反例:域内定位有时 SFT 更强,答题准确率提高时,解释质量仍可能下降。因此,这不是“强化学习全面胜过监督学习”的证明,更不是已经解决异常因果推理的系统。

本文精读 Zhu 等人的 VAU-R1 原文,采用 2025 年 5 月 29 日 v1,连同附录 A–E。它属于有标注任务适配的多模态视频理解,不是只用正常视频的单类检测,也不是零样本异常检测。以下把论文表中的观察、作者的解释和本文的判断分开。

从 VideoChat-R1 继承了什么,又把什么改成异常任务

直接技术前身 VideoChat-R1 已经把 GRPO 用于视频时间定位、跟踪和问答,采用格式、答案正确性、区间重叠等奖励。VAU-R1 不是发明新的强化学习优化器;其增量主要是异常领域的数据组织、带正常样本分支的时间奖励,以及四类异常理解任务的联合检验。

另一个必要对照是 Holmes-VAU:它用分层异常指令数据和异常聚焦采样服务长视频理解。VAU-R1 没有证明自己的每个视觉模块更强,而是改变适配目标,比较同一 Qwen 底座的原始、SFT、RFT 版本。跨架构 Holmes-VAU 对照只能补充外部参照,不能代替这组同底座比较;参数规模、视觉输入预算及训练语料均可能影响结果。

完整流程可以从图 2 读起:视频和任务问题进入预训练视觉语言模型,生成候选文本;训练时根据答案、输出格式和时间区间算奖励,再调整模型参数。推理时只需已微调模型生成文本,不再查询答案标签或奖励器。它没有标准 MIL 检测头输出逐帧异常曲线;时间定位输出的是秒级区间,分类和问答输出离散答案。把其 mIoU 与传统帧级 ROC-AUC 混排,会改变任务含义。

VAU-R1候选响应经格式准确性和时间IoU奖励反馈模型的流程

图注:VAU-R1训练流程。来源:Zhu等,VAU-R1 v1,图2,CC BY 4.0。(来源:论文)

图 2 应重点看“候选响应—奖励—参数更新”这条训练闭环,而不是把四个任务名称理解成四个顺序执行且都受监督的网络。可核验答案参与训练,并不代表每一句解释都有对应的事实奖励。

三个设计选择:组内比较、时间奖励和代理任务

第一,GRPO 比较的是同一问题的多条候选回答。原文式(1)先汇总奖励,式(2)用该组奖励均值与标准差归一化。直观地说,模型不需要知道某条回答的绝对价值,只需增加组内较好答案的概率;式(3)的 KL 项约束它不要偏离参考策略太远。附录 B 给出每个问题四条候选、KL 系数 0.04、最多 1024 输出 token。这些不是可忽略的实现细节:四个候选全错或奖励几乎相同,能提供的排序信号就很弱。本文据此认为,难样本的奖励可区分性应单独统计,但论文未报告这项诊断。

第二,奖励优先约束可检查的产物。QA 使用“格式正确+答案正确”;分类采用同类组合;时间定位再加入 temporal IoU,见第 3.3 节。格式奖励仅检查约定的推理、答案或时间段标签,不评估推理是否忠于画面。时间奖励更细:正常视频被正确判正常可以得到该项满分;异常视频只有检测正确且输出区间时,才按预测区间与标注区间的交并比计分;其他情形为零。这样兼顾拒绝误报和区间重叠,但也把语义分类错误与边界错误耦合起来。

这里应避免一个误解:奖励没有要求每个中间因果断言都能从帧里验证。模型可能学会更可靠地选中答案,却仍给出不可靠的解释。替代方案可以是给解释中的对象、动作和时间证据分别核验;这属于本文研究建议,并非作者已实现的功能。

第三,用容易评价的任务带动开放解释。附录 B 明确说,解释评估没有用推理式描述或分析直接微调,而是测试仅在多选 QA 上训练的模型。因此,VAU-Eval 的变化是在检验任务迁移,不是直接拟合解释文字后的训练集复述。它也意味着“VAU-Bench 含思维链注释”不能推出所有实验都把这些思维链当 SFT 目标。复现时必须分别追踪 QA、TAG、CLS 的训练样本和奖励配置。

参数与预算方面,第 4 节使用 Qwen2-VL-2B 和 Qwen2.5-VL-3B,采取全参数微调,没有 LoRA 或 adapter;训练用两张 H20。附录记录 RFT 约 1500 步、15 小时,而 SFT 为避免过拟合采用较少步数,例如 200 步。这能支持“该配置下的比较”,不能视为等算力、等训练步数的算法裁决。Qwen 推理按 1 FPS 抽帧,InternVL 则均匀取 16 帧;长视频下两者观察预算不同,应与模型能力一起解释。

数据不是附属说明:文本真值也有生成链

VAU-Bench 汇集 MSAD、UCF-Crime 和 ECVA,清理损坏或过长视频、合并部分异常类别,再补充问答、时间段及解释。UCF-Crime、ECVA 的文字内容由 DeepSeek-V3 参与生成;MSAD 先用视觉语言模型描述,再由 DeepSeek-V3 校验优化。附录 A 还写明人工复核,因而不能说“完全没有人工检查”。但正文没有给出足以量化剩余错误的独立标注一致性统计。

数字上也有应保留的小裂缝:第 3.4 节写 4602 个视频,训练、验证、测试分别为 2939、734、929,相加确为 4602;附录表 4 却写 4596。本文不替作者选定一个“正确总数”,复现应以发布清单逐项核对。正文还报告 3700 条时间标注,这不意味着每个视频在每项任务里都能直接使用同一分母。

VAU-Eval 由 DeepSeek-V3 比较生成文字与参考文字,分别评分类、关键概念、流畅度、信息量和事实一致性,合计满分 50。名称中虽称 GPT-based,具体裁判不是可以随意替换的某个 GPT 模型。生成标注和担任裁判的模型有重合,会带来风格或知识偏好相关性的风险;这是本文的评估担忧,而非已经测得的数据泄漏。解释得分不等同人类确认的因果正确率。

结果要按任务拆:最强证据在跨域定位,而非全表第一

表 1 中,Qwen2.5-VL-3B 在 UCF-Crime 的带思考 QA 准确率从 83.27 升至 RFT 的 91.63,增加 8.36 个百分点;不带思考时则从 91.63 到 92.03,只增加 0.40。差异说明 RFT 在这里很大一部分收益是修复“要求思考后掉分”,而不是把原本最好的直接回答远远甩开。MSAD 的 2B 模型,带思考 SFT 为 85.83,RFT 为 83.75,也直接反驳“所有条件均超过 SFT”。

时间定位的证据更有辨识力。表 2 明确:定位训练只用 MSAD 和 ECVA,UCF-Crime 是分布外测试。不带思考的 3B 底座在 UCF-Crime 为 10.91 mIoU,SFT 退至 4.98,RFT 到 16.80;相对底座增加 5.89。这个对照支持 RFT 在该跨域设置下较好地保留并改善定位能力。但 ECVA 域内恰好反过来:SFT 为 45.30,RFT 为 35.09,相差 10.21。MSAD 则是 RFT 35.77 高于 SFT 30.65。应把三种结果并列,而不是只引用跨域那一行。

VAU-R1表2包含基座SFT与RFT在MSAD ECVA及UCF-Crime的时间定位指标

图注:三数据集时间定位结果。来源:Zhu等,VAU-R1 v1,表2,CC BY 4.0。(Zhu et al. VAU-R1 Table 2 CC BY4,第 7 页,来源:论文)

表 2 的关键读法是先分训练域与测试域,再比较同一列。带思考和不带思考不是两次独立训练收益;比如 RFT 在 UCF-Crime 的带思考定位只有 9.21 mIoU,低于不带思考的 16.80。解释文本更长,不等于时间证据更精确。mIoU 和 R@不同阈值也不应当作帧级 AUC,更不能跨论文直接宣布检测全面领先。

附录表 5 给出更尖锐的反例:ECVA 上 3B 的不带思考 QA 从 85.58 到 89.53,但 VAU-Eval 总分从 20.89 降到 18.45。答题变好与解释变差可以同时发生。作者在附录 C 也承认,最终答案的强化不一定改善推理过程。主文表 1 把 MSAD 的 33.38 描述为最高,也应限定为相应适配组:同表的 7B Qwen 得分为 37.08,并非整个表都被超过。

消融与失败例:定位任务比直接分类更值得追

表 3 的任务消融提供一个可行动线索。带思考时,TAG-only 的二分类准确率为 74.14,多分类为 46.14;QA、TAG、CLS 全部合训分别为 65.02 和 45.60。任务数量更多不保证结果更好。SFT 分类的二分类达到 83.37,但多分类只有 32.19,说明只看正常/异常准确率可能掩盖类别区分退化。作者把部分现象解释为偏向异常和过拟合;要进一步确认机制,仍需要混淆矩阵、类频率和同预算训练比较。

扶梯故障案例中SFT与VAU-R1解释及评估对照

图注:解释任务的局限案例:更相关的回答仍未覆盖核心故障原因。来源:Zhu等,VAU-R1 v1,图6,CC BY 4.0。(来源:论文)

附录图 6 比主文成功例更能校准预期:RFT 的文字更贴近紧急现场,却没有解释扶梯故障这个核心原因。看图时应对照原参考事件与模型实际提到的对象、地点、原因,而非只看裁判总分。作者自己也指出它停留在表面紧急情境。该例支持“相关性和流畅性改善”,不支持“已正确追溯事故根因”。单个案例也不能替代总体失败率。

还有一个容易被总分遮住的问题:五个解释维度等权相加,流畅性上升可能抵消事实一致性下降。用于监控复核时,这两种变化的风险并不对称。本文建议至少同时展示事实分与总分,并按异常类别、视频长度分层;这能判断收益是否只来自短视频或常见事件。论文表格没有给出重复随机种子的方差与置信区间,因此那些很小的分差不应被写成统计显著,也不能据单次排名断言稳定优胜。

边界与复现:先证明看到了,再奖励解释

作者在附录 D 承认任务范围仍有限,未来可以加入关键对象空间定位及音频。本文另外强调三条边界。其一,这是完整视频输入下的理解与区间生成,不是已经验证的因果在线报警;1 FPS 抽帧也可能遗漏瞬时证据。其二,报告两张 H20 和训练时长不等于给出了端到端推理吞吐,不能据此声称实时。其三,公开底座预训练知识依然存在,跨数据集测试并不意味着完全排除预训练接触同源内容。

复现最优先固定版本、清点任务清单与划分、检查区间单位和正常分支,随后分别跑有无思考提示。SFT 与 RFT 应追加等预算对照;解释评估则用不同模型及盲审人工复核,单列“答案对而证据错”的样本。最有价值的后续实验不是继续增加思考长度,而是让 QA 选择对应到可回查的时间片段,再奖励证据与答案共同正确。这样才能区分真实视觉定位的收益,和更熟悉答题格式带来的收益。

原始资料与图表许可

图 2、表 2、图 6 均来自 Zhu 等人的上述 CC BY 4.0 论文,保留出处;本文为独立分析,不代表原作者结论或复现实验报告。