AntGPT：一个视频中长期行为预测大型语言模型

8月7日 消息:AntGPT 是一个将大型语言模型应用于视频长期行为预测（LTA）的视觉语言框架。研究人员通过使用监督动作识别算法识别人类活动，并将其作为离散化的视频表示输入给 OpenAI GPT 模型。通过自回归方法、微调或上下文学习，GPT 模型可以预测未来的行动序列，从而实现从底向上的行动预测。

项目地址:https://brown-palm.github.io/AntGPT/

论文地址:https://arxiv.org/abs/2307.16368

他们还利用目标信息来提供以目标为条件的预测，并研究了 AntGPT 在上下文推理和少样本学习方面的能力。

定量和定性评估表明，LLMs 可以从视频观察的离散化动作标签中推断出演员的高级目标，并且在 EPIC-Kitchens-55、EGTEA GAZE + 和 Ego4D LTA v1和 v2基准测试中取得了最先进的长期行动预测性能。该研究提出了使用大型语言模型进行长期行动预测的方法，并通过 AntGPT 框架将 LLMs 与计算机视觉算法相结合，取得了显著的成果。

核心功能:

1）预测目标:AntGPT 利用大型语言模型推断演员的目标，即使只有少量观察到的人类行为。

2）目标条件预测:AntGPT 通过将目标信息嵌入视觉框架，实现了基于目标的行为预测。

3）建模动作时序:AntGPT通过将大型语言模型调整到特定领域的行动序列上，直接建模动作的时间动态。

4）少样本预测:AntGPT 探索了大型语言模型在少样本情况下的预测能力，并尝试了不同的提示策略。