视频异常检测

COPRA精读:让视频生成自己的 LoRA,真的比固定微调更有效吗?

输入条件化低秩权重、GRPO与逐阶段评测:区分动态参数收益、后处理贡献和部署边界。

图2:视频条件生成LoRA,基础模型冻结,生成器由GRPO训练。来源:Jacob等,COPRA v1,CC BY 4.0。

COPRA精读:让视频生成自己的 LoRA,真的比固定微调更有效吗?

很多视频异常检测方法把“适应场景”理解成训练出一个更好的固定模型。COPRA 提出另一种办法:基础视觉语言模型保持冻结,让参数生成器观看当前视频,再生成这段视频专属的低秩权重。这里的关键不是给模型换一句提示,而是让输入内容改变模型内部的计算参数。本文基于 2026 年 5 月 14 日发布、采用 CC BY 4.0 的 arXiv v1 全文及附录;不把后来版本或未运行的代码算作验证结果。

先给结论:这是一项弱监督、输入条件化的参数适配研究,而不是训练免费方法,也不是推理时对每段视频重新执行梯度下降。它提供了同骨干固定 LoRA 与动态 LoRA 的有价值对照,但最终成绩还依赖视觉检索与时间后处理。判断贡献时,应该同时看“动态参数是否带来增益”和“整条流水线究竟使用了什么信息”。

一、问题为什么不只是提示词写得不够好

异常不是固定物体类别。相同动作出现在不同场景,意义可能完全不同;一个全局共享的适配器,必须把这些不同解释压进同一套参数。论文将固定适配写成共享的参数增量,将自己的方法写成依赖视频的增量:先编码视频,再由生成器输出权重更新,最后用更新后的视觉语言模型回答问题。视频既是被识别的对象,也成为决定识别器如何工作的条件。

这与原始 LoRA 的区别很清楚。LoRA 冻结大模型主体,以低秩矩阵近似可训练更新;COPRA 保留低秩形式,却不让所有视频共用完全相同的矩阵。它学习的是“从视频到适配器”的映射。预训练视觉语言模型仍提供绝大部分知识,生成器负责把这些能力按当前内容重新组织。因而所谓冻结基础模型,不意味着系统没有接受异常标签训练。

二、动态适配器究竟怎样生成

图2:视频条件生成LoRA,基础模型冻结,生成器由GRPO训练。来源:Jacob等,COPRA v1,CC BY 4.0。

图注:图2:视频条件生成LoRA,基础模型冻结,生成器由GRPO训练。来源:Jacob等,COPRA v1,CC BY 4.0。(按原页裁切。)(第 4 页,来源:论文)

系统先对视频均匀抽帧,利用已有视觉编码器得到视觉 token。参数生成器以这些 token 为条件,通过注意力交互产生目标层所需的 LoRA 矩阵。架构不是为每一层各训练一个互不相关的小网络,而是在层内、层间进行因子化交互,再用输出头形成参数。这样可以在参数序列与视频特征之间建立联系,同时避免直接预测完整大模型权重。

附录给出 InternVL2-8B 配置:主干有 32 层,隐藏维度 4096;生成器为 16 层、内部维度 512,共约 8737 万参数,LoRA 秩为 8。这个规模提醒我们:动态适配不是零成本附加的一句指令,而是需要训练和运行的额外模型。更新覆盖注意力及前馈网络中的主要投影。矩阵初始化采用一侧随机、一侧为零,使初始低秩增量不立即扰乱基础模型。

另一个设计是共享的全局潜变量。可以把它理解为所有视频共用的适配先验,当前视频再贡献条件化修正。它不等于检索库,也不是给每个类别手工指定参数。作者希望兼顾跨视频稳定性和局部适应性。不过,先验究竟在哪个阶段有帮助,需要实验回答,不能仅凭架构图认定越多越好。

推理时,生成器前向运行一次即可得到适配器;并不需要拿测试视频的标签反向传播。适配器既可以按较短片段生成,也可以在一个较长视频块内复用。这里存在明确的效率—粒度选择:条件越局部,越可能捕捉短时变化,但生成次数增加,而且很短片段未必包含足够语境。

三、强化学习优化的其实是什么

作者使用 GRPO 训练生成器。对同一条件化模型采样多份回答,以组内相对奖励得到优势,再通过生成的低秩参数将梯度传回生成器。基础视觉语言模型仍冻结,但计算图必须允许更新影响回答分布,因此“冻结”不等于不用反向计算。

奖励由答案正确性与格式组成,要求回答满足规定的思考、答案标签。监督来自视频级正常或异常标签,而不是逐帧异常边界。于是奖励能够鼓励分类判断和格式一致,却没有直接验证解释中每个细节是否真实,更没有直接奖励异常起止点的交并比。读者不能把一段流畅解释自动当作获得了事实级监督的证据。

同一组回答共享当前生成的适配器,采样差异主要来自回答生成,而不是组内不断更换不同 LoRA。优势经过组内中心化;若奖励没有区分度,训练信号也会减弱。附录报告学习率为百万分之一、训练一轮、单张 A100 80GB,UCF-Crime 或 XD-Violence 的训练与评估合计约三天。这些是具体实验配置,不是所有硬件、数据规模下的时间保证。

四、先拆开后处理,再看总分

表2:相同后处理阶段比较,区分原始适配收益与后处理贡献。UCF用AUC,XD用AP。来源:Jacob等,COPRA v1,CC BY 4.0。

图注:表2:相同后处理阶段比较,区分原始适配收益与后处理贡献。UCF用AUC,XD用AP。来源:Jacob等,COPRA v1,CC BY 4.0。(按原页裁切。)(第 6 页,来源:论文)

最终评估不是把一句回答直接变成完整异常曲线。方法使用以采样帧为中心的十秒窗口、每窗八帧,并沿用视觉相似性检索和时间平滑等步骤。必要基线 VERA 的相关机制包括基于视觉特征的相似片段检索、平滑以及位置加权。这些操作可以显著改变原始分数,因此论文的分阶段对照尤其重要。

以 Qwen2-VL 为例,UCF-Crime 上冻结模型的三阶段 AUC 依次为 59.36、77.91、81.31;COPRA 对应为 69.73、84.69、86.75。原始阶段已经出现增益,说明贡献不能全部归给后处理;但冻结基线自身也被后处理大幅提升,说明最终 86.75 不能被解释成纯粹的原始推理能力。

XD-Violence 使用 AP,而不是同一张表里的 UCF AUC。Qwen2-VL 最终 AP 从 64.36 提升到 73.96;InternVL2 的最终 AP 则由 74.32 到 76.52。对应的 UCF AUC 为 81.31 到 86.75,以及 84.31 到 87.14。两个骨干的提升幅度明显不同,表明“动态权重有效”不意味着对任何基础模型都有同样收益。更不能把一个数据集上的 AP 和另一个数据集上的 AUC 相减来比较难度。

这些成绩也不等于所有路线中的绝对最优。论文对照表仍有其他方法在某些指标领先,而且不同方法可能使用不同监督和额外标注。合理结论是特定评测配置下的改进,而不是从总表中挑一个有利数字宣布全面替代。

五、固定 LoRA 对照才是最有解释力的一组实验

表3:冻结、静态LoRA+GRPO与动态参数的同骨干对照,尚非完全等算力实验。来源:Jacob等,COPRA v1,CC BY 4.0。

图注:表3:冻结、静态LoRA+GRPO与动态参数的同骨干对照,尚非完全等算力实验。来源:Jacob等,COPRA v1,CC BY 4.0。(按原页裁切。)(第 7 页,来源:论文)

表 3 在 Qwen2-VL 与 UCF-Crime 上比较冻结模型、静态 LoRA 加 GRPO、动态参数方案。最终 AUC 分别是 81.31、83.00、86.75。动态方案比静态方案高 3.75 个百分点,而且原始阶段也是 69.73 对 61.34。这比单纯与冻结模型比较更接近论文真正要证明的问题:收益是否来自“按输入生成参数”,而不仅是终于做了强化学习适配。

不过,这不是参数预算完全一致的证明。动态方案包含较大的生成器;如果没有严格匹配可训练参数量、训练计算和搜索预算,仍不能把所有差异唯一归因于条件化机制。一个更强的后续实验,是让静态适配在相同预算下增加容量,再比较跨场景泛化与置信区间。

全局先验的消融也值得仔细读。InternVL2 原始阶段不带先验为 71.79,带先验为 71.49,略有下降;最终阶段则从 86.39 到 87.14。它的价值体现在完整流水线,而不是每一层结果都单调改善。这种差异提示:适配器与后处理之间可能存在交互,不能只用最终成绩倒推中间机制必然更好。

参数复用实验同样打破“越频繁更新越好”的直觉。十秒块最终 AUC 为 86.51,整视频复用为 86.75,一百二十秒块则达到 87.40。这个非单调结果支持适应粒度需要选择,但没有证明一百二十秒能跨数据集通用。

六、泛化证据有价值,但边界没有消失

附录跨域实验中,UCF 训练后到 XD 测试,InternVL2 最终 AUC 从 90.63 到 90.98,仅增加 0.35 个百分点;原始阶段增益更大。这里报告的是 AUC,不能拿它与主表 XD 的 AP 直接对照。后处理压缩增益也再次说明,看完整流程之外还必须看各阶段。

在无需额外训练的 VRUQA 测试上,总体从 49.05 到 50.40,但 CAP 子集由 52.50 降至 50.41,DoTA 则由 44.83 升至 51.50。跨任务能力不是各场景同步增长。描述生成实验中,若干语义指标提高,但 ROUGE-1 精确率下降、召回率上升、F1 不变,也不支持“所有描述质量指标均改善”的说法。文本相似度更不能直接验证解释的因果忠实性。

七、部署时最容易漏掉的三个条件

首先,中心十秒窗口需要中心时刻之后的视频,因此本配置不是严格因果在线检测。再加上视频块条件化和相似片段检索,在没有重新限定可访问时间范围前,不应把离线结果直接当实时告警能力。

其次,附录表 9 在三十个窗口、最多生成二百五十六个 token 的测量下,报告基础回答约 1.059 秒、参数生成约 0.118 秒、带适配回答约 1.177 秒。生成器成本可以通过复用分摊,但大模型回答成本仍在。表中显存计量的范围不足以直接代表整套八十亿参数系统的驻留需求,不能据此声称几 GB 显存就能部署完整模型。

最后,动态参数本身难以解释。二维可视化上的聚类分离不能证明原始高维空间中的因果结构,更不能解释某个低秩更新为何判定某段行为异常。作者承认可解释性、理论理解以及强化学习采样成本仍是局限。我的进一步判断是:若用于真实监控,除了提高平均 AUC,还应验证阈值稳定性、长期正常误报、跨摄像头校准和因果窗口下的退化。这些要求不是本文已经完成的结果。

COPRA 最值得保留的思想,是把适应看成可学习的参数生成,而不是只在提示词与固定微调之间二选一。现有证据支持它在指定弱监督流水线里改善若干指标;尚不足以证明它训练免费、实时、普遍优于静态适配,或具有可靠的异常因果解释。

还需要区分“输入条件化”和“发现新异常类别”:前者是计算方式,后者是泛化结果,不能自动画等号。面对训练集中没有的异常定义,生成器也可能沿用已有偏好。因此,后续研究最好同时固定视觉语言主干与后处理,单独改变生成器容量、奖励设计和上下文长度,才能判断动态参数真正解决了哪一种分布变化。

来源与核验范围

主文与附录:COPRA,arXiv:2605.15325v1,图 2,表 1—11,CC BY 4.0。必要机制对照:LoRA(arXiv:2106.09685)与 VERA(arXiv:2412.01095v1,方法部分)。本文未执行模型、复现实验或独立检查训练数据泄漏;引用数字是论文报告值,统计显著性不作额外推断。

原论文固定 v1 全文 · 原始 PDF · CC BY 4.0 许可