您的位置:首页 > 互联网

EMO同款?微软发布对口型软件VASA-1 图片加语音即可生成逼真说话视频

发布时间:2024-04-18 16:53:21  来源:互联网     背景:

4月18日 消息:由微软亚洲研究院开发的VASA-1项目,是一项前沿的人工智能技术,它能够将单一静态图像和一段语音音频转换为逼真的对话面部动画。这项技术不仅能够实现音频与唇部动作的精确同步,还能够捕捉并再现丰富的面部表情和自然的头部动作,极大地增强了生成视频的真实感和生动性。

主要功能与特点:

逼真的面部动画: VASA-1可以根据一段语音音频和单一静态图像生成逼真的对话面部视频,包括精确的唇部运动同步和复杂的面部表情及头部动作。

高度自然的头部动作: VASA-1能够生成包括点头和转头在内的自然头部运动,这些都是人类交流中常见的非语言行为。

小米civi 2发布会直播

实时视频生成: 利用NVIDIA RTX4090GPU,VASA-1能够实现高性能的视频生成。它支持在离线模式下以45fps生成512×512分辨率的视频,以及在线流模式下的40fps生成速度,前置延迟仅为170毫秒,适合实时应用。

泛化能力: 模型展现出强大的适应能力,即使面对与训练数据不同的音频或图像,如不同的语言或非常规的艺术照片,也能够有效工作。

tcl q100洗衣机

支持多种语言: VASA-1不仅支持中文,还能处理多种语言的语音输入,甚至能够生成唱歌的动画。

解耦能力: 模型能够独立处理和控制人脸的不同动态特征,如嘴唇运动、表情、眼睛注视方向等,提供了高度的解耦和可控性。

生成的可控性: 通过引入条件信号,如眼睛注视方向、头部距离和情绪偏移,VASA-1增强了视频生成的可控性,允许更精细的调整和个性化的动画输出。

技术原理:

VASA-1项目利用了一系列先进的计算机视觉和机器学习技术,包括面部潜在空间构建、数据集处理、3D辅助表征、整体面部动态和头部动作生成、音频条件化的生成控制、以及实时生成支持等。这些技术的应用使得VASA-1能够生成与音频高度同步的、具有丰富表情和动作的逼真面部动画。

案例与资源:

微软亚洲研究院提供了VASA-1的项目演示和相关论文,以供有兴趣的研究人员和开发者进一步探索和学习。所有在演示中使用的肖像图像,除了蒙娜丽莎外,都是由StyleGAN2或DALL-E-3生成的虚拟、不存在的身份图像。

项目地址:https://top.aibase.com/tool/vasa-1

论文地址:https://arxiv.org/abs/2404.10667


返回网站首页

本文评论
小米Redmi K60系列快充配置曝光:将有67W、120W两种规格「redmik20多少w快充」
10月9日消息,数码博主@数码闲聊站爆料称,Redmi新机Redmi K60系列将会采用67W、120W两种规格的快充配置,同时都会搭载30W无线充电。如果消息属实,这将是Redmi系列首款支持无线充...
日期:10-27
ios16.6「苹果iOS 16.5.1正式版发布 建议升级!」
今天凌晨苹果发布iOS 16.5.1正式版,和上次相隔34天,iOS 16.5.1更新提供了重要安全性修复,苹果建议所有用户安装。realme10x是什么处理器草莓引起发烧iOS 16.5.1修复了无法通过...
日期:06-24
荣耀重返印度市场 明年将在印度生产手机
据新浪财经,近日荣耀回归印度,推出了荣耀 90 智能手机。此前负责 realme 的 Madhav Sheth 接管了荣耀在印度的业务,他在接受印度《经济时报》采访时透露了该公司未来几个月将采...
日期:10-10
小米14系列两大新升级曝光!消灭多年遗憾「小米14配置」
快科技6月7日讯,今年的高通骁龙峰会定档10月24日,不出意外的话,骁龙8 Gen3将与我们正式见面。它的发布也意味着,一大批换代的安卓旗舰也会随后登场了,其中的代表无疑包括小米14系...
日期:06-08
佰维存储荣膺“2023年度中国物联领航企业”_佰维存储上市了吗
近日,深圳市物联网协会主办的第四届AIoT大会成功举办,大会同期揭晓了“中国物联网产业领航奖”的获奖名单。凭借在智能终端等物联网应用领域的创新存储技术与出色市场表现,佰维...
日期:12-20
钟薛高被曝欠薪 公司回应:积极解决 目前运营一切正常_钟薛高创始人是哪里人
10月20日消息,据媒体报道,一位自称钟薛高客服部门前员工”的网友表示,在公司效益不好优化期间,该员工等6人与公司人事提出优化补偿,并签署了离职同意单,约定补偿金和工资10月15日...
日期:10-22
荣耀首款保时捷设计折叠屏首曝PC与保时捷设计同场亮相 荣耀MWC发布多款产品 AI
来源:中关村在线在2月25日的荣耀MWC 2024发布会上,荣耀终端CEO赵明全球发布了AI PC荣耀MagicBook Pro 16以及荣耀Magic V2 RSR保时捷设计等多款产品。荣耀MagicBook Pro 16以...
日期:02-26
AMD Zen4锐龙处理器在国内偷跑开卖:旗舰7950X卖5999元_amd四代锐龙最新消息
赶在27号正式发售前,AMD锐龙9 7950X的散片已经在某“海鲜市场”出现,标价5999元包邮。和盒装行货5950X当前3799元的价格比,的确是贵上不少。苹果手表出现激活锁同时,考虑到7950X...
日期:09-22
未发先火 小米13冲上微博热搜榜:雷军称“前所未有的惊艳”「小米雷军新浪微博」
今日上午,小米13正式官宣,新品将于12月1日发布。在新品官宣之后,有关小米13的微博话题冲上热搜榜,成为网友关注的焦点。这次小米会同时发布小米13和小米13 Pro两款机型,其中13是...
日期:12-01
三星Galaxy Tab S9系列亮相:售价破万!搭载骁龙8 Gen2处理器
三星计划在7月26日举行产品发布会,发布全新的Galaxy Z Fold系列折叠屏手机以及Galaxy Tab S9系列平板电脑。据爆料,Galaxy Tab S9系列将包括Galaxy Tab S9、Galaxy Tab S9 Plu...
日期:07-11
淘宝“伤城”暴露平台式B2C商业模式弊病_众所周知淘宝是c2c电商模式的典型例子
  这几日,陶宝商城的暴动事件再次将B2C电商领域推至舆论的风口浪尖。有分析人士一针见血的向中国家电网指出,淘宝商城因向商户出台费用新规最终演变成“伤城”的后果,暴露了...
日期:07-24
BOSS直聘崩了上热搜 官方回应:经过团队抢修已恢复正常「boss.直聘」
7月6日 消息:今日早间,boss直聘崩了登上微博热搜榜一。家电前装市场美国最大的服装公司倒闭网友们反馈称,BOSS直聘APP页面显示“网络异常,请检查网络后重试”无法显示内容。对...
日期:07-06
苹果iPhone 16拍照要逆天了!大底 超长焦_哪里有自热米饭卖
根据最新爆料,有关苹果公司即将发布的iPhone 16系列的信息逐渐浮出水面。据称,这款新机将通过升级潜望式长焦镜头,提供更远的光学变焦能力。尽管具体数据尚未确定,但目前安卓旗...
日期:07-19
教育单项奖一丹奖揭晓2023年获奖名单_全球奖金最高的教育奖项一丹奖公布首届获奖名单
9月28日消息, 教育单项奖一丹奖揭晓第七届获奖名单。其中,一丹教育研究奖授予美国亚利桑那州立大学教授季清华(Michelene Chi),以表彰她在从认知科学的角度探究学生深度学习的方...
日期:09-28
微软2023财年第二季度营收527亿美元 non-GAAP净利润174亿美元_微软2019年营收
  讯 北京时间1月25日早间消息,据报道,微软公司今日发布了截至2022年12月31日的2023财年第二季度财报。财报显示,微软第二季度营收为527亿美元,同比增长2%。净利润为164亿美元...
日期:01-25
boss直聘蹦了?「BOSS直聘回应App崩了:已恢复正常、深表歉意」
快科技7月6日消息,今天上午,有网友反馈,BOSS直聘App出现大规模系统服务错误提示,疑似服务器出现故障。正值大学生毕业求职季,话题#BOSS直聘#被大量用户迅速送上了微博热搜榜首。...
日期:07-06
发改委等部门发布关于整治虚拟货币“挖矿”活动的通知:加快存量项目有序退出
  9 月 24 日消息 国家发展改革委网站消息,发改委发布关于整治虚拟货币“挖矿”活动的通知。   通知称,虚拟货币“挖矿”活动指通过专用“矿机”计算生产虚拟货币的过程,...
日期:07-17
在东北 一切笨的东西都会被吃掉 网友:笨货的美味深深吸引着我
最近有个视频火了,有家东北的饭店中,视频中出现了笨猪肉、笨鸡、笨鸭、笨鹅、笨狗等,大家戏称在东北,一切笨的东西都会被吃掉。其实每一次谈到东北,我们都知道那里的居民非常偏爱...
日期:11-14
每日优鲜IPO在即:已获超额认购,中金、腾讯、美国长线基金Davis等持续加码
  据接近IPO的市场人士消息称,在递交红鲱鱼招股书以后,每日优鲜已获得超额认购。   每日优鲜于美东时间6月22日递交更新版招股书,计划在本次IPO中发行2100万股美国存托股...
日期:09-25
iphone潜望式镜头「终于用上潜望长焦 仅为顶配专属 「iPhone」-15全系相机规格曝光」
据此前苹果官宣,今年的秋季新品发布会将于9月12日(北京时间9月13日凌晨1点)举办,截至目前已经有非常详尽的爆料传出,不出意外的话将依旧包含iPhone 15、iPhone 15 Plus、iPhone 1...
日期:09-10