您的位置:首页 > 互联网

视频解析工具Video-ChatGPT上线 可用文本描述视频内容

发布时间:2023-05-29 20:45:34  来源:互联网     背景:

5月29日 消息:虽然像Runway ML这样的公司在将文本转换为视频方面取得了长足的进步,但 VideoChatGPT却另辟蹊径,赋予语言模型分析视频的能力。Video-ChatGPT 可以用文本描述视频的内容,例如,通过突出显示不寻常的元素来解释为什么剪辑可能很有趣。

开发人员通过一段长颈鹿从跳水板上跳入水中的视频来演示这一点。Video-ChatGPT 指出:“这并不常见,因为长颈鹿并不擅长杂技或潜水。”

链接到开源语言模型的预训练视频编码器

研究人员将 Video-ChatGPT 的设计描述为简单且易于扩展。它使用预训练的视频编码器,并将其与预训练然后微调的语言模型相结合。

QQ截图20230529160513.jpg

尽管名称如此,阿布扎比穆罕默德·本·扎耶德人工智能大学的项目并未使用 OpenAI 技术。相反,研究人员嵌入了一个线性层,将视频编码器连接到语言模型。

除了要求特定任务的用户提示外,语言模型还会使用定义其角色和一般工作的系统命令进行提示。

人机增强数据集

研究人员结合使用人工注释和半自动化方法来生成高质量数据,以微调 Vicuna 模型。这些数据的范围从详细描述到创造性任务和访谈,涵盖了各种不同的概念。

总的来说,该数据集包含大约86,000个高质量的问答,一些由人类注释,一些由 GPT 模型注释,一些由图像分析系统的上下文注释。

QQ截图20230529160526.jpg

Video-ChatGPT 的核心是其结合视频理解和文本生成的能力。它在视频推理、创造力和对时间和空间的理解方面的能力已经过广泛测试。

多模态人工智能未来

在最近文本生成取得重大进展之后,OpenAI 和谷歌等公司正在转向多模态模型。Bard 理解并可以对图像做出反应,并在其正式发布时展示了这些能力。

apple watch ultra上手体验

【资讯】818冲刺全年购物高峰 苏宁的挺进之战

市民在银行存有722元 11年后想

从图像到移动图像将是下一个合乎逻辑的步骤。谷歌已经宣布开发一款将于今年晚些时候发布的 带有 Project Gemini 的大型多模式 AI 模型。


返回网站首页

本文评论
iPhone 14 Pro翻车:充满电无法开机 黑屏变砖_iphone11 pro 黑屏
iPhone 14又出问题了,这次是是无法开机。首发骁龙855国内汽车制造商因芯片短缺而减产有不少用户反馈称,自己使用的iPhone 14 Pro在睡前充上电之后,第二天居然无故开不了机,无论...
日期:11-05
拼多多公布年货节数据:百亿补贴下,苹果/华为/小米分列智能手机前三
  1月16日消息 1月16日消息,拼多多年货节负责人对外公布大促数据,自12月20日零点至1月15日24点,整体订单同比增长260%,GMV超千万的单品近200种。其中,活动商家的农(副)产品订...
日期:10-15
易捷行云新一代信创云获评信创”优秀产品与解决方案”
  近日,由中国电子报主办、工信部相关领导及行业专家共同参与评审的“信息技术创新应用优秀解决方案”在中国电子报进行了展示。易捷行云(EasyStack)新一代信创云解决方案...
日期:07-14
边框酷似iPhone 小米13正式官宣「iphone13的边框」
中关村在线消息:今日小米正式官宣了小米13的发布会,12月1日(周四)晚七点小米将举行小米13系列和 MIUI 14新品发布会。据了解在本次发布会上,小米13、小米13 Pro、MIUI 14一起发布...
日期:12-01
淘特公布双11玩法 主推搜索“比价”可享五折「淘特价格便宜」
10月11日 消息:双十一就快到了,各大电商平台纷纷公布了今年的玩法。主打性价比的淘特,今年的玩法也还是围绕性价比,主推搜索比价功能。苹果股价10月22日、11月11日,淘特搜索“比...
日期:10-17
同一WiFi被人乱投屏? 安全投屏试试海豚星空(同一wifi下投屏)
     前有海底捞电视播放不雅视频事件,后有医院大堂电视又被恶意投屏。此类公共事件最后公安调查发现,都是客人连接门店WiFi之后,把手机淫秽视频投屏到公共场合的电视了...
日期:09-22
组建高效工作流 有三星Galaxy Tab S8系列更智能
随着社会节奏不断加快,人们对于高效办公的需求愈发凸显。根据实际需求,将手机、平板等设备与个人电脑连接,来实现组合办公并形成一套完整规范的工作流(Work Flow)正成为人们的普...
日期:05-17
加倍,Mozilla bug 赏金大幅提高,新增多个目标站点
  为了庆祝 Firefox 1.0 发行 15 周年,Mozilla 对其 Web bug 赏金计划进行了重大变更。   当前谈到 Web 浏览器,特别是在开发者人群中,Firefox 是不得不提的存在。Firefo...
日期:02-11
商业计划书_公路商店旅行计划
公路商店旅行理念   把一切享乐主义但对自己一点好处都没有的事情全心全意行到底的人永远存在。所以我们尝试在这个后现代社会里专于及时行乐,而非对过时的令   人疲倦...
日期:07-11
马斯克威胁起诉微软:称ChatGPT使用推特数据训练
快科技4月20日消息,近日,微软宣布将停止其智能广告平台对推特的支持,这一行为引起了马斯克的不满。今天凌晨,马斯克在推特表示,他们(微软)非法利用推特的数据来训练。是时候起诉他...
日期:04-20
请使用IE9_IE9最新消息:正式版将于下周发布
  上周,微软MSDN印度曾在官方微博上透露,IE9正式版将在3月24日发布。如果你等的十分焦急,那么下面这个消息应该算是个好消息,知情人士透露,IE9正式版将在3月14日发布。   微...
日期:07-26
腾讯注册新狗头图形商标「狗头 logo」
10月9日 消息:企查查APP显示,近日,腾讯科技(深圳)有限公司申请注册多个狗头形象图形商标以及“微信创意表情”商标,当前商标状态均为注册申请中。据悉,狗头表情来源于神烦狗doge,旨...
日期:10-13
携程租车入驻腾讯出行服务「携程租车入驻腾讯出行服务商」
9 月 28 日讯:携程租车和腾讯出行服务正式达成合作,携程租车正式入驻腾讯出行服务, 9 月 20 日起,用户通过“微信-服务”入口下方的“出行服务”,点击“租车”即可进入携程租车...
日期:09-30
特斯拉谈人形机器人:与自动驾驶战略密不可分「特斯拉无人驾驶技术是完全无人驾驶吗」
特斯拉于当地时间周五公布了其Optimus人形机器人的第一个实际原型--按照最严格的定义,这次是一个真正的机器人而不是一个穿着奇怪衣服的真实的有血有肉的人。据特斯拉创始人...
日期:10-04
数字敦煌能起到哪些作用「敦煌研究院和腾讯联合推出“数字藏经洞”」
4月18日“国际古迹遗址日”,由国家文物局指导、敦煌研究院与腾讯联合打造的全球首个超时空参与式博物馆“数字藏经洞”正式上线。“数字藏经洞”综合运用高清数字照扫、游戏...
日期:04-18
百度地图全面融合文心一言;360数科更名奇富科技;猫眼娱乐与美团重续战略合作框架协议
文章目录 百度地图全面融合文心一言 360数科更名奇富科技 猫眼娱乐与美团重续战略合作框架协议 百度地图全面融合文心一言百度地图宣布将全面融合文心一言,发布交通大模型,升...
日期:02-15
Redmi K60配置全曝光 四款机型全高配「为什么苹果突然调节不了亮度」
中关村在线消息:近日,Redmi K60系列的相关配置被曝光,据悉新机将会有四款型号发布,具体为K60、K60 Pro、K60 Pro+、K60电竞版。这其中K60搭载天玑9200、剩余机型分别搭载天玑920...
日期:12-03
牛年即将来临 想清楚开言英语提出的这十大问题未来必定更优秀
  再有几天的时间,我们就将迎来华人最重要的节日春节了,在这辞旧迎新之际,你有没有想过让牛年更加的顺利?为此,国内领先的在线英语教育品牌、字节跳动大力教育旗下教育产品开...
日期:07-16
中通快递寄丢白金项链只赔500元 当事人:接受不了「中通快递丢失赔偿」
10月6日消息,据小强热线报道,今年8月,叶女士和朋友到四川旅游,不小心将一些物品落在了成都都江堰的一家酒店。其中最贵重的就是一条白金项链,结果中通快递在邮寄途中,把包裹弄丢了...
日期:10-09
视频号温水煮电商
声明:本文来自于微信公众号 那个吴小明(ID:haorank123),作者:第二秘书,授权转载发布。“今年双十一视频号要起飞了”,半个多月前,一位从事视频号直播带货的朋友跟我说。但真到双十...
日期:11-15