单模型 Benchmark#

以下成绩来自 25 个测试视频，指标为 CodaBench 报告的 J&F_new：

最反直觉的结果是：SAM2Long 的整体成绩低于普通 SAM2.1-large。继续拆解到单个物体后才发现，长记忆并非普遍无效，而是呈现明显的“双刃剑”特征——部分视频提升 30 分以上，少数困难视频却直接损失 60 分以上。

多模型选择#

这里必须区分两类结果：

• GT-free v8 只使用推理时可取得的掩码、轨迹和模型间一致性特征，可以自动运行；
• oracle 使用了平台返回的真实成绩来选择最优模型，相当于“看过答案后再选”，只能用于估计多模型选择的理论空间，不能包装成可部署算法。

报告截稿时，视频级 oracle 提交取得 J&F=65.2，对应 submission ID 812523（2026-06-25），在当时榜单中位列第 1，领先第 2 名约 2.7 分。这个名次是一次有用的上限实验，但不属于自动选择器的实际能力。

1. 首帧提示#

从调色板 PNG 中读取所有非零 id，并为每个物体构造二值掩码：

1
annotation = np.array(Image.open(first_mask_path))
2
object_ids = [x for x in np.unique(annotation) if x != 0]
3

4
for object_id in object_ids:
5
    binary_mask = annotation == object_id
6
    predictor.add_new_mask(
7
        inference_state=state,
8
        frame_idx=0,
9
        obj_id=int(object_id),
10
        mask=binary_mask,
11
    )

2. 全序列传播#

init_state 负责载入视频帧，propagate_in_video 返回每一帧、每个目标的 mask logits。这里真正需要关心的不只是“有没有输出”，还包括：

• 帧名与原图是否一一对应；
• 输出尺寸是否与输入严格一致；
• 多物体传播时 id 是否稳定；
• 目标暂时消失时是否应该输出空掩码；
• 多个掩码重叠时采用什么覆盖规则。

3. 多物体冲突裁决#

实验中采用“小 id 先画，大 id 后覆盖”的确定性规则，首帧则直接用 GT 覆盖，保证条件帧不被模型输出污染：

1
label_map = np.zeros((height, width), dtype=np.uint8)
2

3
for object_id in sorted(object_masks):
4
    label_map[object_masks[object_id]] = object_id
5

6
if frame_idx == 0:
7
    label_map = first_frame_annotation.copy()

这个规则不一定是最优的，但它可重复、容易检查，而且不会因为字典遍历顺序不同而生成不同提交。

4. 提交格式是隐藏的工程难点#

输出文件不仅要“看起来像一张分割图”，还必须同时满足：

• P 模式 PNG；
• 沿用首帧标注的调色板；
• 文件名、帧数、分辨率全部与输入一致；
• 每个像素保存的是物体 id，而不是 RGB 颜色；
• 文件夹层级完全符合平台要求。

1
output = Image.fromarray(label_map, mode="P")
2
output.putpalette(first_frame_palette)
3
output.save(output_path)

如果把可视化后的 RGB 彩图直接当作提交，肉眼看上去可能完全正常，平台评分却会异常。对这类 Benchmark，格式验证和模型推理同样重要。

SAM2Long：用记忆树缓解错误累积#

SAM2Long 在 SAM2 上引入 memory tree，维护多条候选记忆路径，观察完整段视频后再回溯选择路径，试图缓解单路记忆中的误差累积。

实验采用官方 VOS 推荐参数：

1
num_pathway = 3
2
iou_thre = 0.1
3
uncertainty = 2

它有一个结构性限制：记忆树的路径评分按单物体、单状态设计，因此多目标视频必须逐物体单独传播。

这会带来两项代价：

1. 推理次数随物体数线性增长，本实验 64 个物体需要 64 次独立传播；
2. 失去 SAM2 多物体联合传播时潜在的跨物体互斥约束。

一开始我怀疑第二点是 SAM2Long 崩溃的主因，但单物体视频 ukt9w7oi 上同样出现了灾难性失败。这个反例直接推翻了“主要是互斥约束丢失”的猜测。逐帧动画进一步显示，真正的问题是：记忆树在早期选错路径后，长记忆把错误身份稳定地固化了下来。

TCP：只处理掩码，不处理身份#

TCP（Temporal Consistency Postprocessing）是一个基于 scipy 的纯后处理模块：

• 空间维度：填补小孔洞；
• 空间维度：删除面积小于 64 px 的孤立碎块；
• 时间维度：移除孤立帧闪烁；
• 时间维度：补齐 1 帧短遮挡；
• 可选：3 帧多数投票。

对应开关包括：

1
ENABLE_TCP
2
PP_FILL_HOLES
3
PP_MIN_AREA
4
PP_FLICKER
5
PP_TEMPORAL_VOTE

TCP 可以让边界更干净、短期轨迹更平滑，却不能把“跟到另一只鸟”的掩码重新变回正确目标。只要错误掩码本身连续、平滑、形状合理，后处理甚至看不出它是错的。这也是它最终没有提升 Benchmark 的原因。

SAM3：批量注册所有物体#

SAM3 通过 HuggingFace transformers 与 ModelScope 权重完成推理，使用 Sam3TrackerVideoModel / Sam3TrackerVideoProcessor 的视频接口。

一个关键实现细节是：首帧必须一次性批量注册全部物体。若按 object 逐次注册，条件帧上可能出现部分物体没有 mask memory，随后传播报错：

1
maskmem_features ... cannot be empty

SAM3 原生支持多物体联合传播，在本数据集上取得 J&F=60.59，成为最强单模型，也因此被选为 GT-free 选择器的默认模型。

差异主要发生在“身份”，而不是“质量”#

进一步对比不同模型的逐帧掩码后，我得到三个重要观察：

1. 在 64 个物体中，约 50 个物体上 SAM2Long 与 SAM2.1-large 的逐帧互 IoU 超过 0.9，面积比中位数接近 1.00，二者几乎没有可融合的差异；
2. 真正拉开分数的是约 10-14 个物体，差异不是边界厚薄，而是整段轨迹指向了不同实例；
3. 不同模型跟错的物体并不完全重合，因此存在按物体选择模型的提升空间。

由此得到两条工程结论：

• 融合只能“选”，不适合“糊”：不同实例的掩码做像素平均，会得到一个同时覆盖多个对象的错误结果；
• 多数投票不是免费午餐：三个同源 SAM2 模型可能一起犯错，把少数但正确的 SAM3 投掉。

实验中的多数投票只从 60.59 提升到 61.39，距离 oracle 仍有明显差距。集成的关键不是模型数量，而是错误模式是否足够独立。

Oracle：先测量“选择”这件事值不值得做#

在设计自动选择器前，我先使用平台返回的 per-object 分数构造 oracle：

• 视频级 oracle：每个视频选成绩最高的模型；
• 物体级 oracle：每个物体选成绩最高的模型。

视频级 oracle 达到 65.2，物体级 oracle 达到 67.42，显著高于 SAM3 的 60.59。视频级混合中模型使用次数为：

1
SAM3                 ×13
2
SAM2-tiny            ×5
3
SAM2.1-large         ×4
4
SAM2Long             ×2
5
SAM2Long + TCP       ×1

这个分布说明没有一个模型在所有视频上都最好，多模型之间确实存在互补性。Oracle 的意义不是“刷榜方案”，而是回答一个研究问题：如果自动选择器足够好，理论上还有多少空间？

Stage 1：检测 SAM3 自己在“幻觉”#

默认信任最强单模型 SAM3，取 penalty 最低的其它模型作为挑战者。只有同时满足以下高置信条件才允许切换：

1. 所有模型并非都很脏，即最小 penalty 不超过 5；
2. SAM3 自身出现中央 flash；
3. 挑战者 penalty 不超过 1；
4. 挑战者相对 SAM3 的 penalty 优势至少为 3。

这是一种“保守默认”策略：宁愿错过一些潜在提升，也不要因为一个看似干净、实际跟错身份的轨迹而频繁切换。

Stage 2：检测 SAM3 安静地跟错对象#

有一类错误不会产生闪烁：SAM3 全程平滑，但盯着错误实例；与此同时，三个 SAM2 模型形成一致轨迹。为此，v8 新增第二道机制：

1. 用并查集按质心一致度对非 SAM3 模型聚类；
2. 要求共识簇大小 csize == 3；
3. 共识簇的 disengage 指标 cdis < 0.55；
4. 共识轨迹活跃度 cact > 0.4；
5. SAM3 与共识的面积比 arat >= 0.75；
6. SAM3 与共识的一致度 s3ag < 0.65，确认它确实处于孤立状态。

五道门全部通过后，才切换到共识簇中 penalty 最低的模型。

Stage 1 和 Stage 2 不能简单合并，因为两种错误的几何表现相反：

• Stage 1 中，SAM3 的轨迹明显闪烁，错误是“吵闹的”；
• Stage 2 中，SAM3 平滑地跟错，错误是“安静的”。

v8 共触发 4 次切换，4 次全部净增益；报告中选取的 7 个陷阱物体没有误触，最终达到 62.75。

关于泛化能力

v8 的阈值是在包含这些物体的 64-object 数据上调出的，因此 +2.16 带有 in-sample 乐观成分。它是当前实验中效果最好的可复现规则，不应被描述成已经通过独立测试集证明的通用算法。

ukt9w7oi：弱提示、小目标与密集行人#

首帧目标位于街景画面中部偏上，区域很小，周围有大量行人和相似衣着，伴随强透视、遮挡和运动模糊。

SAM2Long 从最初的路径选择阶段就锁定了错误对象，之后长记忆持续巩固错误身份：

1
SAM2.1-large: 69.16
2
SAM2Long:      0.91
3
差值:         -68.3

这个案例说明，长记忆无法自动弥补低信息量提示。只要第一步身份选择错了，记得越牢，整段错误越稳定。

可能的工程应对包括：

• 检测“小首帧掩码 + 高 distractor 密度”，自动回退到 SAM2 联合传播或 SAM3；
• 使用点、框和 mask 的组合提示；
• 在早期帧保留多个身份候选，而不是立即提交到单一路径；
• 引入独立的 re-identification 表征验证候选身份。

0u8fy7u2：鸟群中的 identity switch#

画面中有大量快速运动的同类飞鸟。SAM2Long 在约第 11 帧后平滑地切换到另一只鸟：

1
SAM2.1-large: 76.07
2
SAM2Long:     15.82
3
差值:         -60.3

它的质心移动连续、步长合理、面积也没有明显异常，从几何上看完全“合法”。这正是 GT-free 几何选择器最难处理的错误：轨迹没有坏，只是对象身份错了。

我尝试过把候选掩码区域与首帧目标做 HSV 直方图匹配，但鸟的姿态、视角与光照变化太大，同一只鸟在不同帧的外观差异甚至可能大于不同鸟之间的差异，简单颜色特征反而引入误判。

这个案例提示，突破方向可能不再是给 SAM2 输出加更多规则，而是引入 DINO 类语义表征、显式 re-identification，或 Cutie 等身份保持机制不同的 VOS 模型。

1. 平均分会掩盖机制#

SAM2Long 的 58.52 看起来只是比 baseline 低 0.38，但拆到具体物体后，真实现象是 +36 与 -68 同时存在。只看平均值，很容易得出“长记忆没用”这种错误结论。

2. 先验证失败类型，再决定优化层级#

如果错误是边界毛刺，形态学与时序后处理有用；如果错误是实例身份切换，继续调孔洞填充、连通域阈值或投票窗口几乎不会解决问题。优化方法必须和失败层级匹配。

3. 负结果也能确定研究边界#

TCP 无增益、HSV re-identification 失效、裸 ML 低于 baseline，这些结果共同说明：纯几何与浅层外观特征不足以稳定判断身份。它们不是“没做出来”的附注，而是后续为什么需要语义表征、更强监督和异构模型的重要证据。

4. 集成收益来自错误独立性#

三个同源模型不一定比一个强模型更可靠。如果它们共享主干、记忆机制和失效模式，多数投票只会放大相关错误。下一步更值得做的不是继续堆叠 SAM 变体，而是引入身份机制不同的模型。