在线视频实例分割技术TCOVIS 可保持时间一致性

9月26日 消息:研究人员介绍了一种名为TCOVIS的在线视频实例分割技术，该技术注重时间一致性。实例分割是计算机视觉领域的一个热门研究课题，其目标是将视频帧中的每个独立实例进行识别和分割。

TCOVIS的核心创新在于提出了一个时序一致性模块。视频实例分割是一个非常具有挑战性的任务，因为需要对每一帧图像进行语义分割，同时跟踪并关联各帧之间的目标实例。但是由于各帧之间存在遮挡、形变等问题，使得直接应用图片实例分割模型往往无法获得时序一致和连续的结果。

论文地址:https://arxiv.org/pdf/2309.11857v1.pdf

项目地址:https://github.com/jun-long-li/TCOVIS

TCOVIS通过构建一个记忆模块来实现时序一致性。该模块存储历史帧的特征，并与当前帧建立匹配，从而关联当前帧与之前帧之间的同一实例。 Memory模块采用字典学习的策略，以降低存储和搜索时间成本。同时，TCOVIS还设计了在线训练和模型自监督策略，使框架能够适应视频中新出现的实例，实现真正的在线逐帧分割。

经过实验验证，TCOVIS相比其他主流方法，能够取得更好的时间一致性指标，同时保持与SOTA方法相当的分割精度。该框架可以部署在资源受限的边缘设备上，实现实时高质量的视频实例分割。