您的位置:首页 > 互联网

AI视频生成工具ID-Animator:可保持角色一致生成视频动画_ai创作视频

发布时间:2024-04-25 15:48:52  来源:互联网     背景:

划重点:

⭐️ 提出了一种零样本人类视频生成方法,可根据单个参考面部图像进行个性化视频生成

⭐️ 引入面向身份的数据集构建流水线,提高身份信息在视频生成中的提取效率

⭐️ 结合控制网络,实现单帧或多帧控制图像与面部参考图像的融合生成视频

4月25日 消息:近年来,生成具有指定身份的高保真人类视频引起了广泛关注。然而,现有技术在训练效率和身份保持之间往往难以取得平衡,要么需要繁琐的逐案微调,要么在视频生成过程中通常会丢失身份细节。研究提出了一种名为 ID-Animator 的零样本人类视频生成方法,可以在无需进一步训练的情况下执行个性化视频生成,只需单个参考面部图像即可。

ID-Animator是一种零样本个性化视频生成方法,可以根据单个参考面部图像生成个性化视频,无需额外训练。ID-Animator 继承了现有基于扩散的视频生成框架,并引入了一个面部适配器,用于从可学习的面部潜在查询中编码与身份相关的嵌入。

为了促进视频生成中身份信息的提取,研究引入了一个面向身份的数据集构建流水线,该流水线结合了从构建的面部图像池中生成分离的人类属性和动作标题的技术。基于这一流水线,进一步设计了一种随机面部参考训练方法,以精确捕获参考图像中的与身份相关的嵌入,从而提高了模型对于特定身份视频生成的保真度和泛化能力。

大量实验证明了 ID-Animator 在生成个性化人类视频方面优于先前的模型。此外,该方法与流行的预训练 T2V 模型(如 animatediff)和各种社区骨干模型高度兼容,在需要高度保持身份的视频生成的真实应用中表现出高度可扩展性。

ID-Animator特色功能亮点:

随机参考训练:在训练过程中,随机从之前提取的面部池中选择一个参考图像,通过这种蒙特卡洛技术,平均化来自不同参考图像的特征,减少身份不变特征的影响。

生成能力 :ID-Animator 在基本提示下展示了生成能力,可以通过文本定制人物的上下文信息,包括头发和服装等特征,创造新颖的角色背景,并使他们执行特定的动作,同时包括性别和年龄。

身份混合 :通过将来自两个不同 ID 的嵌入以不同比例混合,我们有效地在生成的视频中结合了两个 ID 的特征。

苹果钥匙串密码怎么看

ai创作视频

与 ControlNet 结合 :ID-Animator 能够提供单帧控制图像或多帧控制图像。当提供单帧控制图像时,生成的结果巧妙地将控制图像与面部参考图像融合。当提供多个控制图像时,生成的视频序列紧密遵循多个图像提供的序列。

三星one ui4.1 app通知推送

ai视频如何制作

产品入口:https://top.aibase.com/tool/id-animator


返回网站首页

本文评论
大模型赛道正“热”:卷场景、卷芯片、卷人才
声明:本文来自于微信公众号 锌财经(ID:xincaijing),作者:孙鹏越,授权转载发布。比五一假期还要火热的,只有大模型赛道了。ChatGPT、AIGC、算力、云计算、人工智能……只要与这几个关...
日期:05-11
号称满帧战神!荣耀X40 GT亮相:跑车同款碳纤维设计
今晚19:30,荣耀X40 GT发布会如期而至,姜海荣开场首先展示了新机的外观。作为一款主打越级性能的机型,荣耀X40 GT整体设计此前的X40完全不同,从机身造型到全新配色都透露出了极致...
日期:10-14
电影、体育多领域联动,天猫3.8节鼓励女性任天性全开
  随着越来越多敢于表达真实想法的女性进入公众视野并受到关注,在生活中展示自己的天性愈发成为女性的情感诉求。为了推动“她力量”的进一步崛起,在3.8节到来之际,天猫...
日期:07-16
百度地图疫情地图如何打开_最新!百度地图上线发热门诊地图和疫情地图
  连日来,新型冠状病毒感染的肺炎疫情牵动着全国人民的心。眼下正值春运,人口流动频繁,在政府部门与医疗机构之外,诸如百度地图等各大出行平台也在积极应对,为广大用户应对疫...
日期:11-15
李嘉诚布局大模型_李嘉诚重新布局国内
声明:本文来自微信公众号“字母榜”(ID:wujicaijing),作者:赵晋杰,授权转载发布。当房地产商高喊向科技领域转型之际,往往也是其核心地产业务陷入危机之时。为寻找新增长曲线,2018...
日期:10-09
装甲核心v「装甲核心6零件全收集攻略 零件资产家奖杯达成指南」
装甲核心6中有非常多零件可以获取,比如武器零件一些收集必要零件,也影响一个金色奖杯的获取——资产家,也就是要你完成所有收藏家的奖杯,所以就来为大家分享一下装甲核心6零件全...
日期:08-25
泉州移动携手中兴通讯首次应用1D3U超大上行创新技术保障大型演唱会通信
2023/5/30 17:49 泉州移动携手中兴通讯首次应用1D3U超大上行创新技术保障大型演唱会通信   刘若英2023飞行日巡回演唱会——泉州●晋江站,近日在晋江第二体育中心体育馆...
日期:05-30
工信部、国家标准委联合印发《国家车联网产业标准体系建设指南(智能网联汽车)(2023版)》
通信世界网消息(CWW)为适应我国智能网联汽车发展新阶段的新需求,工业和信息化部、国家标准化管理委员会近日联合修订印发《国家车联网产业标准体系建设指南(智能网联汽车)(2023版)...
日期:07-27
陈少杰斗鱼的id多少「陈少杰失联,游不动的斗鱼雪上加霜」
华为40充电宝雷达财经出品 文|孟帅 编|深海日前,身为国内游戏直播赛道龙头玩家的斗鱼,传出创始人、董事会主席兼CEO陈少杰失联的消息。对于外界盛传的失联传闻,有媒体称斗鱼方...
日期:11-07
今年五一出行需要隔离吗「今年五一,出行攻略已经卷到了高铁和飞机上……」
五一假期终于要来了!打工人的快乐正在派送中……今年的小长假你选盛唐密盒还是淄博烧烤?无论去哪里,对忙碌的我们来说都是一段放空自己、回归生活的绝妙时光。在做旅游攻略时,除...
日期:04-28
火山引擎DataLeap:主动式规划诊断,助力企业轻松做好数据治理「火山引擎是做什么的」
(原标题:火山引擎DataLeap:主动式规划诊断,助力企业轻松做好数据治理) 当企业处于业务高速发展期,数据的累积速度会越来越快。相...
日期:09-16
台积电5nm每月产能_从台积电预期来看 他们5nm工艺四季度营收将超过26亿美元
10月21日消息,据国外媒体报道,台积电目前最先进的 5nm工艺,在今年一季度大规模投产,为苹果等客户代工最新的处理器,在他们三季度121.4亿美元的营收中,就有8%是来自于5nm工艺。从台...
日期:08-01
苹果因服务副总裁离职重组服务部门 高管离职潮再添一员「苹果公司高管」
1月10日消息:据Business Insider消息,苹果公司正在对其服务部门进行重组,以应对服务高管Peter Stern的离职。据报道,担任苹果公司服务副总裁的Peter Stern负责监督Apple TV+、...
日期:01-10
2024年ChinaJoy官宣:7月26日-29日在上海新国际博览中心举办_上海新国际博览中心4月展会
快科技12月7日消息,ChinaJoy官方今天正式宣布,2024年第二十一届ChinaJoy将于7月26日-29日在上海新国际博览中心举办。全新展会口号:初心游”在,精彩无限!(英译:Stay Ture, Game On....
日期:12-08
折叠影像天花板!vivo X Fold3首曝:骁龙8 Gen3 双层晶体管CMOS_find x3骁龙870
快科技12月27日消息,今天,数码博主@数码闲聊站发布了,关于vivo X Fold3折叠屏手机的部分配置信息。Facebook速推发消息该博主表示,vivo X Fold3将采用高通骁龙8 Gen3处理器,搭载5...
日期:12-27
家长注意!这2项运动不利于孩子生长发育_什么运动影响孩子长高
9月19日消息,微博话题这2项运动不利于孩子生长发育”上了热搜榜。美国电商零售占比专家介绍,建议家长不要让正处于生长发育阶段的孩子频繁做长跑(特别是马拉松)、举重等运动。领...
日期:09-19
手机忘记解锁图案怎么解「手机忘记解锁图案怎么办」
在当今社会,手机已经成为人们必不可少的生活工具。然而,忘记解锁图案是一个普遍而令人头疼的问题。如果您不希望经历长时间的等待和信息损失,就需要了解一些解决方案。第一种方...
日期:05-29
《堡垒之夜》东家赔偿5.2亿美元 和解FTC“侵犯少儿隐私诱骗玩家”指控
  讯 北京时间12月20日早间消息,据报道,当地时间周一,美国联邦贸易委员会和知名游戏《堡垒之夜》的开发商“Epic Games公司”联合宣布,Epic Games将赔偿5.2亿美元,和解有关该公...
日期:12-20
第七届虎扑女神大赛落幕:刘亦菲夺冠 二封「虎扑女神大赛百度百科」
据虎扑的步行街官微,日前,虎扑第七届女神大赛落下帷幕,刘亦菲(代表角色赵灵儿)夺冠。石家庄汽车展览会2021此次,和刘亦菲进入最终PK的是周慧敏(代表角色阮梅),最终还是神仙姐姐”凭借...
日期:10-03
小觅智能亮相NVIDIA英伟达Jetson 开发者日
  12月17日,2019 NVIDIA英伟达Jetson 开发者日在苏州举行,英伟达、百度、哈工大机器人、米文科技等国内外知名企业的技术专家出席了本次大会,并围绕计算机视觉、深度学习以...
日期:02-06