从“冻结大模型”到“重新分开难例”
把CLIP图像特征接进异常分类器，不代表它已经理解监控里的异常。视觉—语言预训练擅长识别物体与动作，却未必把正常跑步和危险追逐分开。RelVid研究的正是这个间隙：不大规模更新视觉编码器，而是在特征后面添加类别激活、局部时间建模与辅助任务，重新组织正常和异常的表示。
本文精读Wang等发表于2025年3月25日的RelVid正式全文。结论先说：它给出了值得复用的训练期特征整形方案，但不能根据摘要把它描述成两个数据集全面领先。尤其有一个有意思的反例：类别激活和局部注意力直接叠加，反而不如单独局部注意力，必须看辅助任务怎样改变组合效果。
一、监督信号比“只有一个二元标签”更丰富
任务仍是弱监督时间定位：训练没有逐帧异常区间，测试输出随时间变化的异常分数。不过，文本分支会使用打架、破坏、交通事故等事件类别词，并学习视频与正确类别文本的匹配。因此，完整方案不只是正常/异常二元标签，还利用视频级语义类别。与只接收二元标签的方法比较时，这一差别必须保留。
视觉编码器采用CLIP ViT-B/16并冻结；文本编码器不是全冻结，实施细节明确允许最后的投影层微调。两边输出都是512维。这个细节比笼统说“冻结CLIP”更准确：保留预训练主体，同时给语义对齐留出适应空间，并不等于训练成本为零。
原论文图2可以理解为三层：底层提供预训练特征，中层Adapter改变特征可分性与时间联系，上层利用分类、重建和文本匹配共同训练。本页不转载原图，下面用原创表格拆开各条路径。
| 路径 | 输入与操作 | 作用与边界 |
|---|---|---|
| 视觉分类 | Adapter特征→片段分数→时间top-K聚合 | 用视频标签监督片段；选中的异常视频片段仍可能是正常内容 |
| 类别重建 | 正常、异常视频各自选中特征→对应重建头 | 约束中间表示；不是测试时直接用像素重建误差报警 |
| 文本识别 | 类别词与可学习前缀→文本表示→视文相似度聚合 | 引入语义类别监督；不自动支持任意未见异常 |
二、Adapter到底改变了什么
类别激活不是显式的异常定位器
第3.3节把每个时间位置的D维特征扩展为两组D维表示，再逐元素取较大响应，经变换并加回原特征。这类似让两套通道响应竞争：哪个分支在某个维度更强，该位置就沿哪个分支传播主要梯度。残差保留原有信息，避免整形过程完全替换预训练表示。
作者把它称为类别激活，但两组通道不能直接理解为已经监督好的“正常专家”和“异常专家”。逐元素最大值只是选择规则，类别分工仍需最终损失形成。公式排版在B、扩展后的B和张量维度之间不够统一，复现时应先固定输入为时间×通道，再验证扩展、拆分、最大值与残差的形状，不宜机械复制符号。
局部注意力解决的是时间关系，不是在线性
激活机制逐位置筛选特征，可能削弱连续片段间的关联。局部注意力于是把时间序列切成重叠窗口，在窗口内执行自注意力，限制跨窗口的信息交换。相比全局两两交互，论文给出的注意力复杂度由随时间长度平方增长，变为时间长度乘窗口长度。
这不代表系统能无等待地流式报警。窗口内没有明确的只看过去遮罩，因此一个时间点可能使用之后的片段；窗口重叠怎样拼接、测试片段怎样采样，也影响真实延迟。论文对UCF-Crime设窗口8，对XD-Violence设64。不同视频来源的时间尺度不同，这两个配置本身就说明它不是一组参数直接泛化到所有场景。
三、辅助任务为什么可能救回组合效果
重建分支先从正常和异常视频中选择top-K特征，经全连接变换后，分别交给RCN和RCA重建；L1损失让输出靠近对应的已选原特征。两个重建头只参与训练，测试时移除。它的作用是让表示保留类别相关结构，而不是像正常训练自编码器那样，假定异常一定产生更大的重建误差。
这里存在弱监督循环：异常视频包含大量正常片段，top-K并非人工真值；若初期分数选错，异常重建分支也会接收错误内容。因此，“分别重建”提供的是优化偏好，不是保证两个真实分布已被严格分离。正文说L1有利于稀疏和抗离群点，但没有把每种噪声机制单独验证。
文本任务使用类别词加可学习前缀；前缀长度20，温度0.07。视文相似度矩阵中，每个类别取最匹配的一组时间位置并平均，再经类别softmax形成识别结果。它允许不同类别在不同片段上找到证据，不要求把整条视频平均成一个向量。视觉二分类则另行聚合最高异常置信度，使用二元交叉熵。总损失由分类、文本相关项和重建项组成。
读者应注意两个top-K的含义不同：一个挑高异常分数，另一个挑对某个文本类别最匹配的位置。它们不能当作同一组可靠伪标签。论文没有完整展开所有实现细节，尤其具体K配置与细粒度区间生成过程，应列入复现核验，而不是凭常见实现补齐。
这条路线也不是首次把文本接入VAD。必要基线VadCLIP全文已有视觉分类与视文对齐双分支、局部—全局时间适配和MIL对齐。RelVid值得讨论的是激活与重建怎样配合，而非把语义对齐本身当成独有贡献；两者应在相同采样、监督与评估条件下再比较。
四、主表支持什么，不支持什么
UCF-Crime报告帧级ROC-AUC和仅异常视频上的Ano-AUC；后者缩小评估范围，更强调异常视频内部的时间区分，但不是固定阈值下的召回率。XD-Violence报告AP。论文未给出评估代码核验，本篇沿用其AP名称，不擅自断言具体数值积分实现。
| 证据位置 | RelVid | 可比行/反例 | 谨慎结论 |
|---|---|---|---|
| 表1 UCF AUC | 87.71 | UMIL 86.75 | 在该表高0.96个百分点 |
| 表1 UCF Ano-AUC | 69.29 | UMIL 68.68 | 高0.61个百分点；正文称UMIL未报告，与表格不一致 |
| 表2 XD AP | 80.76 | Fan等83.59 | 不是该表最优，低2.83个百分点 |
| 表3 UCF细粒度平均mAP | 6.83 | AVVD 6.05 | 平均更好，但绝对数值仍较低 |
| 表4 XD细粒度平均mAP | 28.33 | AVVD 20.21 | 检测类别与时间区间的联合结果更有优势 |
表3还有一处容易被叙述掩盖的例外：IoU为0.3时，RelVid是5.39，AVVD是6.25；所以不能写“所有阈值均领先”。IoU为0.1时13.68对10.27，差值是3.41个百分点，也不是正文所说超过4。这里选择按表格逐项重算，而不放大文字结论。
半监督或正常训练方法与完整RelVid的差距，也不能全部归因于文本。监督信息、模型结构、训练和特征条件同时变化，没有只开关文本的受控试验，就无法把所有提升划给某一个因素。
五、最有价值的证据是负向消融
下表按原表5重排。“重建”对应辅助任务1，“文本”对应辅助任务2。原表未给多随机种子区间，因此差异只是该报告配置下的结果。
| 配置 | UCF AUC |
|---|---|
| 仅类别激活 | 84.64 |
| 仅局部注意力 | 86.37 |
| 类别激活+局部注意力 | 85.73 |
| 局部注意力+重建 | 86.86 |
| 局部注意力+重建+文本 | 87.13 |
| 类别激活+局部注意力+重建 | 87.30 |
| 全部组件 | 87.71 |
两组件直接相加比仅局部注意力低0.64个百分点；加入重建后达到87.30，再加入文本到87.71。与“每块模块都有独立正贡献”相比，更合理的解释是存在交互：激活改变表示后，需要额外约束避免丢掉时序或类别结构。这也给复现提供了具体检查点——先重现退化行，再检查辅助任务是否真的扭转退化，而非只跑完整模型。
跨数据集表6则固定目标域比较训练来源：在UCF上，从UCF训练的87.71变成XD训练的84.61；在XD上，从XD训练的80.76变成UCF训练的62.87。说明迁移方向很不对称。特别是后者下降17.89个百分点，不能把“跨域有改善”写成“换场景基本不掉点”。原表RTFM第一组84.48到68.59，绝对下降15.89个百分点，相对下降约18.81%，因此表中18.80%接近相对降幅；但同表其他下降标注又采用绝对百分点，存在口径混用。本篇统一按原始数值计算绝对百分点，不沿用含混的百分号。
六、从可复用组件到可部署系统，还差哪些证据
实现使用RTX3090、批量64，UCF训练10轮，XD训练20轮。但没有完整的端到端吞吐、显存峰值、每小时误报及报警延迟报告。重建头移除节约的是该辅助分支，不能推导整个CLIP特征提取免费。图5曲线为便于比较被归一化到0到1，这只能辅助观察定位，不能用于推断跨视频同一阈值的可靠性。
作者明确承认复杂XD场景中额外模态可能引入干扰，后续希望处理开放集异常。我们的进一步判断是：当前类别词表仍限定已知事件，跨库实验也不等于严格的未见类别评估；应另设未见类别划分，并固定阈值检查正常视频误报。t-SNE簇更分开是解释线索，不是独立的泛化保证。
复现实验还应把“训练收益”和“测试路径”分开检查。首先保存同一批冻结视觉特征，避免不同视频抽帧造成表面提升；其次用相同训练划分逐个打开激活、重建和文本监督，记录随机种子，而不是为完整模型单独挑最好的一次；最后分别导出视觉分数与类别匹配分数，确认最终粗粒度结果如何产生。正文对重建分支的移除有明确说明，但不能因此擅自宣布所有语义计算都不参与最终输出。
另一个容易混淆的地方是辅助重建中的“异常特征”。它首先来自异常视频这一袋，并不是已经具有帧级标注的真异常实例。若研究者用测试时间标注筛选这些特征，就改变了监督设定。最有说服力的扩展应报告选中片段的稳定性，分析长正常背景和短异常之间的竞争，而不是只观察最后的整体AUC上涨。上述检查是本文建议，并非论文已经完成的附加实验。
最值得带走的不是一个“全面SOTA”标签，而是一个实验问题：冻结预训练表示后，如何让类别激活、时间聚合、语义监督彼此兼容？RelVid的消融恰好表明，更多模块不一定更好，训练约束之间的配合才是核心。
**来源与许可。**本文阅读全文17页、方法公式与表1—6，并补读VadCLIP相关方法作为必要背景；未发现随正文提供的独立补充实验文件。RelVid原文由Wang等作者以CC BY 4.0发布。本文为原创中文分析，表格为据原文数据重新组织、差值自行计算；未嵌入原文视频画面。原始架构与曲线请见官方全文。