给异常检测器补上一张“物体地图”
同样的运动幅度，在不同对象和场景中含义不同。人群正常走动可以很剧烈，偷拿货架物品却可能只有细小动作。只依靠通用视频特征，模型容易把“显著变化”与“值得报警”混为一谈。这篇研究没有再加入一套庞大的语言模型，而是问：能否把现成目标检测器提供的类别与位置，变成弱监督异常检测可直接使用的补充特征？
Wang、Chen和Yeo于2025年11月30日发表于Information的正式论文给出一个相对朴素的方案：保留I3D视频分支，将YOLO的类别概率按空间网格重新编码，适配后拼接，继续用MIL训练。值得学习的是“接口设计”而不是新检测器：离散对象输出如何进入连续特征网络，以及什么样的适配器能真正用好它。
本文阅读全文15页，重点核验方法与四张实验表。其证据支持“对象语义能改善本文复现基线”，但不足以宣称各场景、各适配器或所有新检测器都稳定更优。
一、先把监督与评估口径说清楚
训练只有视频级正常/异常标签，没有异常事件的逐帧位置。正常视频中的片段可视为正常；异常视频里则混有大量正常片段，不能把全片都当真异常。目标检测器带来的是另一种预训练知识：它认识固定的物体类别，不是提前知道这些视频中的异常时间。
两个评估集都使用帧级ROC-AUC。ShanghaiTech采用重新划分的弱监督版本，把部分含异常视频移入训练；因此不能直接把它与仅用正常训练的原始协议分数当成同条件比赛。UCF-Crime训练1610条、测试290条，测试时间标注只用于评估。AUC总结排序能力，并没有确定一个实际报警阈值；高AUC也不自动意味着每小时误报足够低。
必要基线是RTFM：它通过学习后的特征幅值挑选实例，并联合训练分类器。对象分支是在这类实例选择框架上增加信息，不是改成全监督对象异常定位。本篇只用RTFM解释接口与主表基线，不把跨论文分数当成受控实验。
二、为什么不直接把YOLO类别编号塞进网络
类别编号只是索引，编号相差十不代表两个物体在语义上相差十。只保留最高置信类别还会丢失不确定性：一个模糊目标可能同时像背包和手提包，这个分布对下游判断未必没有用。作者因此绕过最终离散类别选择，使用各类别概率，再用检测框的位置把它们放到空间网格。
每个视频片段只在首帧运行对象检测；得到的对象特征复制到I3D的多个空间裁剪位置，以保持张量形状一致。这是很重要的工程简化：复制并不等于对每个裁剪图重新检测，也不等于跟踪对象轨迹。后续模型能够利用随时间变化的语义网格，但不能据此声称YOLO单帧输出直接观测了速度或人与物体的交互。
帧被均分为16个网格，每格保存80类概率，构成1280维向量。原文图2展示跨格目标如何分配；本页不复制原图，下面用原创流程表重组其含义。
| 环节 | 保留的信息 | 不应误解为 |
|---|---|---|
| 对象检测 | 类别概率与边界框 | 异常事件的时间真值 |
| 网格分配 | 每个空间区域可能出现的物体类别 | 精确对象身份或跨帧轨迹 |
| 时间对齐 | 每个片段首帧对应一组对象特征 | 覆盖片段内部所有短暂事件 |
| 裁剪维复制 | 满足融合张量的形状 | 每个裁剪各自拥有独立检测结果 |
这里还有一个值得复现时注意的公式细节。原式1虽然标为IoU，分母却是整个对象框面积，而不是框与网格的并集面积。实际判断是“某网格覆盖对象框的比例”是否超过0.3。两种定义在大对象跨多个格子时会给出不同分配，不能直接调用标准IoU函数替代。
这种编码的好处是把变长的对象列表转成定长特征，同时保留粗空间布局；代价是量化损失。两个相近对象可能落在同格，越界框可能分配到多个格。论文允许同格多个对象，但没有充分明确所有碰撞情况下如何汇总概率，复现需要确定累加、最大值或其他规则，而不是自行选一种后声称严格复现。空检测、低置信目标与遮挡也应单独测试。
三、融合前的适配，比直接拼接更关键
I3D的2048维特征先进入多尺度时间网络；对象特征则尝试SE、Hydra注意力或同样的时间模块。两路在时间与裁剪维对齐后沿通道拼接。原始维度上，2048加1280得到3328，比再拼一组2048维特征更紧凑，但这只是表示大小，不是总计算量或速度比较。
SE在这里的作用并非像经典图像网络那样池化高和宽，而是对时间维取平均，得到整条特征序列的通道描述；再经两层全连接、ReLU与sigmoid生成通道权重，乘回每个时间位置。可以把它理解为：先看这段视频整体出现了哪些对象语义，再调整各语义通道的重要性。
这一全时间池化也划出了部署边界。若测试时使用完整视频，它会利用当前时刻之后的信息；不能因为YOLO本身可以快速推理，就称整体异常检测是因果流式系统。要改成在线版本，必须规定仅过去窗口池化或递推统计，并重新测延迟和检测表现。
Hydra提供另一种轻量注意力适配，论文用于比较对象特征的处理方式；这里不把它当成与SE同时存在的必选模块。二者在不同数据集上的最优结果相反，这正是本文最值得关注的实验现象：同一种对象表示，不存在一个已经被证明通用最好的预处理器。
四、实例选择仍然承担弱监督的风险
训练将视频表示为32个时间片段，采用10裁剪设置，从学习后的融合特征中按幅值选top-3。分类损失监督被选片段；幅值项约束正常与异常视频选中特征之间的分离；另外在异常视频分数序列上加入平滑与稀疏项，限制分数忽高忽低或全程偏高。
异常袋的top-3不是人工确认的真异常。新增对象特征可能让真正异常更显著，也可能偏好人数多、物体密集的正常区域。因此，新分支并没有消除MIL选择偏差，只是改变了用于选择的表示。图中看见对象与分数变化相伴，还不能证明某对象就是异常的因果原因。
原式3的幅值损失是距目标间隔的平方误差，不能概括成超过间隔后就不再惩罚的标准hinge；渲染核验还显示它先对选中特征向量求平均，再取范数，不能与逐个取范数再平均随意交换。总损失里的权重符号和实施节学习率符号存在复用，且部分权重交代不够清晰；正式复现应核对实现，而不能仅因“沿用RTFM”就假定所有损失完全一致。
五、提升必须区分复现基线与文献基线
| 数据集 | 文献RTFM | 本文重训RTFM | 加YOLOv7 | 加YOLOv9 |
|---|---|---|---|---|
| ShanghaiTech | 97.21 | 95.82 | 96.51 | 97.45 |
| UCF-Crime | 84.30 | 83.03 | 83.81 | 84.42 |
以上为原表1、2的AUC，粗体等强调在这里省略。最佳配置相对本文重训基线分别提高1.63与1.39个百分点；相对文献RTFM则仅高0.24与0.12个百分点。两种比较回答的问题不同：前者更贴近同实验环境的增量，后者提醒我们基线复现差异并不小，不能把大增量包装成对文献最佳结果的大幅超越。
YOLOv7的实际增量只有0.69与0.78个百分点；所以正文中若把1.63直接接在YOLOv7叙述后，应以表格重新归属到YOLOv9最佳配置。没有多次运行区间，这些结果也不能直接称为统计显著。
六、消融揭示了“语义地图+适配器”的交互
表3把本文网格表示与FeatVec比较；后者把位置、面积和类别概率放入对象向量。下面只重排最有解释力的四行，全部使用YOLOv9，数值仍为AUC。
| 数据集与适配器 | FeatVec | 本文网格格式 | 差值，百分点 |
|---|---|---|---|
| ShanghaiTech+SE | 96.07 | 97.45 | +1.38 |
| ShanghaiTech+Hydra | 96.15 | 95.93 | －0.22 |
| UCF+SE | 83.49 | 83.50 | +0.01 |
| UCF+Hydra | 82.73 | 84.42 | +1.69 |
这不是“新格式始终优于旧格式”：ShanghaiTech的Hydra行明确相反。它更像一个匹配问题，固定空间布局可能适合某些通道重标定方式，却不保证适合每种注意力。原表使用MTN处理对象特征时，ShanghaiTech只有95.16，甚至低于重训I3D基线95.82，说明沿用视频特征处理器未必能善用类别概率。
表4进一步拆检测器：ShanghaiTech配SE时，YOLOv7的96.51到YOLOv9的97.45；改成Hydra则96.28到95.93。UCF配SE时83.81降到83.50，配Hydra才从83.06到84.42。因此更强检测器和更高异常AUC并非逐配置单调对应。最佳组合的改善值得肯定，但还不能证明每个改进都来自检测精度本身，仍需控制对象召回率、类别覆盖与特征分布等因素。
七、值得复用，也值得补测
作者明确承认固定80类对象词表可能漏掉监控中特有的相关物体，也可能包含无用类别，未来希望扩展类别覆盖并聚焦场景相关对象。本文进一步建议，把小物体、遮挡、夜间和无检测结果作为独立测试组，观察对象分支何时帮助、何时制造噪声。
对实时部署还需要单独测量首帧采样错过短事件的比例、YOLO与I3D提取成本、缓存开销及固定阈值的正常视频误报。论文没有提供足以核验整套系统实时性的吞吐和延迟分解，所谓轻量主要是表示与适配设计的动机，而不是已完成的端到端实时证明。
最实用的复现顺序是先锁住I3D缓存和数据划分，再固定检测输出，只比较表示与适配器；最后才更换YOLO版本。若同时改变检测器、表示和训练设置，即使AUC上涨，也很难知道是哪一项起作用。进一步还可检查通道归一化：类别概率与视频特征的数值尺度不同，拼接后的幅值排名可能被某一路主导。这是本文提出的诊断方向，不是原论文已验证的结论。
这篇工作的可迁移价值，是把“识别到了什么、在哪里”转换成VAD可训练的接口，而不是声称目标检测就等于理解异常。对于已有MIL基线的研究者，这是一条清楚、可分步验证的语义增强路线。
**来源与许可。**原文作者Yanyu Wang、Yang Chen、Chai Kiat Yeo，DOI为10.3390/info16121042，许可CC BY 4.0。本文为原创中文分析，表格依据原文表1—4重排，差值独立计算；原图及视频画面不转载，可在官方全文查看。全文未列独立补充实验材料，代码与完整运行配置未在本次核验中取得，不将缺失细节补成确定事实。