央视联合上海人工智能实验室发布央视听媒体大模型CMG Media GPT

7月24日 消息:7月20日，上海人工智能实验室（上海AI实验室）、中央广播电视总台联合发布“央视听媒体大模型”(CMG Media GPT)。

目前，央视听大模型具备了强大的视频理解能力和视听媒体问答能力，同时，央视听大模型可根据提供的视频创作文字——从主持词到新闻稿件，甚至诗歌。媒体编辑可在大模型的协助下，一键为视频生成风格各异的解说词，当前生成内容已覆盖美食、文化和科技等多个领域。

央视听大模型还为用户提供了强大的交互式图像、视频编辑与创作能力，用户仅需使用简单的光标和文字指令，即可快速修改或编辑图像。

上海AI实验室科研团队介绍，央视听大模型具备的视觉理解能力，源于跨模态互动技术的最新突破——大模型将图像/视频视为另一种“语言”，并将视觉与语言对齐，从而降低人工智能视觉任务的门槛。基于对多模态数据的建模，央视听大模型可感知图像的风格与纹理笔触，通过将用户输入的文本指令与图像对齐，实现按照用户需求生成画面及风格一致的其他内容。

除了视频内容，央视听大模型还具备快速生成“数字人主播”的能力。使用较短的真人采集视频即可生成对应的数字人。AI生成的数字人主播以“真人”形象呈现，不仅能根据既定文案和背景场景快速生成播报视频，还可自动学习真人的语言及动作习惯，做到形象更逼真，表情更自然。