您的位置:首页 > 互联网

从妙鸭爆火到老片修复,大模型已经开始干活了

发布时间:2023-08-18 18:06:39  来源:互联网     背景:

声明:本文来自于微信公众号 光子星球(ID:TMTweb),作者:文烨豪,授权转载发布。

自AIGC热潮涌现以来,敏锐的科技巨头们纷纷下场,推动着国内大模型赛道一路狂奔。

然而,技术本身很难直接创造价值,训练大模型只是一个起点,沸沸扬扬的“百模大战”,也或多或少夹杂了一丝“重复制造轮子”的意味。

未来机器人战争 元宇宙 科幻

对大模型而言,嵌入应用场景,从而实现成熟的商业化落地,才是终点所在——而随着大模型赛道的逻辑从训练转向落地,AIGC应用正逐渐在各个领域涌现。

7月,AI写真应用妙鸭相机爆火出圈,不仅在社交平台里疯狂刷屏,更是激起了科技语境的广泛讨论。很多此前不太熟悉科技语境的用户,也从中第一次真切地感受到AIGC的魅力。

8月,抖音及火山引擎发起了“经典影像修复计划”,首次将AIGC视觉大模型应用于老片修复场景,计划修复100部香港老电影,还原大众记忆中的香港电影,最初的、最清晰的模样。

这意味着,大模型已逐渐走出了“实验室”,走入人们的视野。

妙鸭相机与老片修复,藏着大模型的答案

妙鸭相机的爆火,对当下仍困于落地的大模型赛道无疑有着启示作用。

其实,从技术路径来看,妙鸭相机背后的AIGC图像生成能力,并没有太高的技术壁垒,亦不及Midjourney、Stable Diffusion等主流应用全面。

只是,诸如Midjourney等应用有着极高的上手门槛,需要用户不断摸索提示词(Prompt),在此过程中难免产生消费障碍。

而妙鸭相机则将前述繁琐的步骤封装、简化为一键操作,用户仅需上传一张正面半身照,以及不少于20张的补充照,便能根据设定模板一键生成各式各样的写真,易用性大幅提高。

从中不难窥见,前沿技术若想实现大规模落地,不仅需要找准应用场景,更需解决相应场景过往的痛点与难点。这正是火山引擎切入“老片修复”场景的重要原因。

一直以来,老片修复都是影像领域的重要议题,根据来自65个国家超过130电影资料馆统计,电影自诞生以来平均存活率不过10%。

背后的逻辑在于,早期电影拍摄后大都储存于胶片上,可胶片作为储存介质可谓相当脆弱,不仅对储存环境的温度、湿度要求极高,亦极易在使用、搬运等过程遭受物理和化学损伤,从而产生褪色、撕裂、脏点、霉变、酸变等问题。

一个简单的例子,如今许多早期电影的画面色调常常偏红或偏紫,除却导演本身艺术表达的因素,更多是电影胶片因保存不当而患上醋酸综合征的表现——胶片褪色变红的同时,还会释放出刺鼻的酸味,加剧保存环境的恶化。而酸化一旦开始,便很难完全逆转。

此外,电影在制作、分发过程中,胶片往往会经历反复翻印,每次翻印都会带来细微的画面细节损失,而随着翻印次数增加,画质衰减将愈发严重。基于种种因素,多数港片的画面表现远不及当下的高清视频,用户的观影体验难言友好。

另一方面,传统修复技术主要仰仗于人工进行——先将胶片转制为数字格式,再由修复师一帧一帧地处理画面上的霉斑、污渍等问题。

然而,一部电影通常包含数十万帧画面。若完全依赖人工修复,不仅成本高昂,效率也难以令人满意。以《东邪西毒》为例,王家卫曾回忆道,因为胶片受潮,当时的修复耗费了整整四年时间。尽管如此,还是因为修复不及时,使《东邪西毒终极版》的极少数片段仍有花片的情况出现。

换言之,传统影像修复技术,难以进行大规模修复。而若无法实现规模化,电影资料馆修复胶片的效率,或许难以追赶数十万卷胶片在时光荏苒下逐渐褪色的速度。

在此背景下,AIGC视觉大模型,成为了影视领域老片修复“心病”的解药。

火山引擎的大模型答卷

利用AI深度学习算法修复影像,其实并不是什么新鲜事。早在几年前,国内影像垂直论坛上,便已有影像发烧友通过深度学习算法提升老片分辨率,以提升画面观感。

然而,过去的影像处理算法虽能在一定程度上起到提升画质的作用,但并不足以支撑严肃的商业应用场景,以现阶段基于Stable Diffusion的开源大模型为例,其主要针对图片生成任务,对偏向于退化修复的老片修复场景的针对性较差,很难简单套用。

基于此,火山引擎在现有成熟大模型的基础上,叠加了自身的老片修复网络,对模糊、失焦、人像、色彩等常见修复问题进行了针对性优化,使得大模型可以充分感知和适应老片场景。

一个简单的例子,传递角色的情感状态和内心世界的人像镜头,在电影语言中尤为重要。对此,火山引擎针对不同画面质量的影片,自适应使用了不同人像解决方案。

针对制作时间久远,影片画质较差的老电影,火山引擎使用基于生成式的人像修复模块,在保持人像真实特征的前提下,进行高清五官重建;针对中高质量的人像,火山引擎则使用了人像超清模块,优化五官清晰度,实现了对睫毛、眉毛、发丝和肤质等脸部细节最大程度地还原和纹理增强。

值得一提的是,除了面向泛化老片修复场景的调优,火山引擎此次更是针对港片的特性,打磨出了更垂直细分的修复能力。

以武打场景为例,不同于海外电影“直截了当”的打斗,打戏作为贯穿香港电影黄金年代的独特标志,更像是华丽的舞蹈,强调每一招每一式的对垒,有着极强的辨识度。

可武打场景,对AIGC模型而言却是不小的考验。一方面,画面中迅速变化的动作和快速运动,往往会造成较大的帧间位移,进而导致光流模型的准确性下降,从而产生拖影;另一方面,复杂的武打动作更容易导致插帧结果的失真,产生伪影,直接影响了观众的视觉体验。

为此,火山引擎自研了智能插帧算法,通过对前后帧的内容进行光流估计,根据光流信息将前后帧像素转换到中间帧,然后进行整合,生成中间帧,提升视频帧率;通过针对性优化,降低处理大运动时的计算负担,从而提升模型的稳定性和效果。

而武侠元素,向来是香港电影的重要组成部分,但由于早期电影拍摄制作方式较为简陋,部分武打场面往往会有威亚的部分残留,从而破坏了画面的完整性。对此,火山引擎利用去噪点和去划痕等算法批量处理画面瑕疵的同时,亦针对威亚优化了去划痕算法,在消除威亚痕迹的同时保证了画面主体人物的完整性。

据中国电影资料馆副馆长张小光介绍,此次电影修复也邀请了电影的主创人员参与到修复流程中,既通过技术还原影像的“形态”,亦还原影片原本的“灵魂”,使其“修旧如旧”。

特斯拉用机器人移动机器人

背后的逻辑在于,电影修复并不仅是前沿技术的找寻落地场景的尝试,更是一种商业行为。而“修旧如旧”,正是经典电影触动大众情怀、唤醒集体记忆,从而提升商业化价值的关键。从中不难窥见,火山引擎务实的技术观。

飞入寻常百姓家

尽管AIGC初期爆发初期,互联网语境曾困于技术与应用的激烈争论,但妙鸭相机与火山引擎却证明了,二者其实并不对立。

一方面,前沿技术的演化不断扩展着应用的边界,既使普罗大众无需负担写真馆高昂的价格,便能看到自己的多元面貌;也使昔日陈旧的影像摆脱了生存危机,穿越时空焕发了新的生命力。

另一方面,前沿技术从研发到落地往往需要经历较长的周期,过去更多活在“实验室”里、商业化遇冷的大模型,更是需要这些深入人心的内容来赋予它们生命,以此真正走入人们的生活。

面对前沿技术落地的桎梏,玩家们不断交出的答卷,对行业无疑有着重要的参考价值。

出圈的妙鸭相机,一改过去前沿技术落地“苦大仇深”的面貌,通过贴近普通用户的场景与更易上手的功能,以更活泼、轻快的姿态切入了C端市场。

无独有偶,火山引擎亦在不断探索落地场景。早在2021年,火山引擎便基于画质增强技术,将哪吒、葫芦娃、黑猫警长等童年记忆中的经典动画修复为4K版本;去年,其则是使Beyond乐队在红磡体育馆的演唱会,时隔30多年于大众视野中重现。

换言之,从还原经典动画,到演唱会重映,再到港片修复,有如一个个锚点,昭示着火山引擎在商业化应用领域的落地生根。时至今日,火山引擎已打磨出不俗的技术力,并已在内部业务线以及外部企服市场,实现了规模化实践与批量规模化生产应用。

归根结底,妙鸭相机也好,火山引擎也罢,均在通过更多元、灵活的应用,解构了AIGC的科技高墙,使活在科技语境里的前沿技术,演变为了用户触手可及的现实。可以预见,在这批务实派玩家的带动下,AIGC未来或将以更丰富的形态,飞入寻常百姓家。


返回网站首页

本文评论
摩拜退押金后美团还能用吗_美团单车回应可退摩拜单车押金
中新网8月4日电(中新财经记者 吴涛)4日,有消息称,据多名网友反馈,摩拜单车的押金可以在美团申请退了,相关话题登上热搜。美团单车相关工作人员对中新财经表示,这是一条旧闻,在2018...
日期:08-05
京东生鲜活动「即时零售力推生鲜 京东发布“百城万店推新计划”」
  来源:北京商报  北京商报讯(记者 何倩 实习记者 王思琦)9月27日,京东超市公布全渠道业务最新进展。截至目前,京东超市联合京东小时购已覆盖超8.7万家商超类实体门店,超2.9万...
日期:09-28
比特币跌破40000美元大关「比特币跌破19000美元」
9月 19日讯:截至发稿,比特币单枚价格跌破19000美元,大跌7.87%,暂报18478美元,价格创下了近两年来新低。vivoxfold一个月免费换新条件...
日期:09-22
年终奖品成鸡肋 二手市场转让帖超6成
  在春节前举办的单位年会上,不少职场白领拿到了年终奖品。对于一些平时用不上或者自己已有的奖品,大部分人只好选择将之出手转让。据相关数据显示,2011年1月1日至2月10日,赶...
日期:07-26
极光签约九号公司,助推智慧移动服务体验升级
  近日,中国领先的移动开发者服务提供商极光(Aurora Mobile, 纳斯达克股票代码:JG)与智能短交通行业独角兽——九号公司(Segway-Ninebot ,证券代码689009)达成合作。极光为...
日期:07-16
康盛创想发布社区公告 宣布今晚官网升级至Discuz! X1_康盛创想集团
  中国领先的社区平台与服务提供商康盛创想康盛创想(Comsenz)发布社区公告,宣布将于今天晚上对 Discuz! 官方论坛进行系统升级转换,预计到明天中午左右,整个 Comsenz 社区产品...
日期:07-29
微软edge浏览器支持avif格式「微软浏览器edgeflash」
微软正计划在其edge浏览器中增加对avif格式的支持,该浏览器基于与chrome相同的内核. avif是一种基于av1视频编码的图像编码,它可以提供比其他图像格式更有效的编码。edge加入a...
日期:04-20
长城汽车CTO:中国汽车怎么在一起?还是先打一架吧「中国长城和长城汽车是一家公司吗」
快科技8月11日消息,近日,中国汽车在一起”的话题,引起网友关注与热议。不过,长城汽车对此也有不一样的认识和感悟。今日早间,长城汽车CTO王远力,在其个人社交平台上发文称:在这样...
日期:08-11
《逆水寒》魔兽老兵服预创角色上线:点卡收费1小时6毛 你玩吗
因暴雪与网易分手”,《魔兽世界》等经典游戏国内即将停服,为了满足魔兽玩家的一些需求,《逆水寒》此前曾宣布将在1月13日正式开放网易魔兽老兵服”服务器,接纳这些玩家。今日,网...
日期:01-09
电脑微信占用内存越来越大「电脑微信占用100多GB空间 解决办法来了:重回清爽流畅」
快科技5月20日消息,这几天微信吃内存的话题又上热搜了,作为一款10亿 用户的国民级APP,微信的真是让人又爱又恨,不用几乎不可能,用起来槽点又多,光是磁盘占用就是个头疼的问题。不...
日期:05-20
天下苦“智能电视”久矣
声明:本文来自微信公众号“三言财经”(ID:sycaijing),作者:三言,,授权转载发布。近日,演员李嘉明在社交平台发布视频,公开指责电视的收费乱象。李嘉明称,以前打开电视就是电视,现在打...
日期:01-13
抖音潮爸刘教授真名「对话潮爸刘教授:GMV翻倍单场爆卖6000万,品类专场直播新突破」
声明:本文来自于微信公众号 蝉妈妈(ID:cmmshuju),作者:蝉妈妈,授权转载发布。随着抖音电商的快速发展,越来越多的内容创作者进入了直播带货的赛道,他们在持续输出优质视频内容的同...
日期:06-27
百度悄然测试创新UGC产品“大全”(百度UGC)
  1月5日消息,百度悄然上线一款新UGC产品“大全”, “大全”是由用户团队将某一特定主题下的资源进行人工整理,帮助浏览者迅速获得精选信息。   “大全”目前仅在少部分主...
日期:07-25
腾讯2022年第二季度营收1340亿元 调整后净利润281亿元_腾讯利润2020全年净利润
留住人间烟火气地摊经济 查看最新行情   讯 8月17日下午消息,腾讯控股今日发布2022年度第二季度财报。财报显示,该公司第二季度营收1340亿元,同比下滑3%;净...
日期:08-19
TikTok向用户公开算法,透明也是一种力量
声明:本文来自微信公众号“三易生活”(ID:IT-3eLife),作者:三易菌,授权转载发布。“算法”这个词,想必绝大多数朋友都多少有所耳闻。在如今这个移动互联网时代,算法也决定了我们在...
日期:12-28
iphone隐藏刘海屏「保留刘海“凹槽” 消息称iPhone SE 4采用6.1英寸LCD显示屏」
据DSCC分析师Ross Young称,苹果iPhone SE 4将采用6.1英寸LCD显示屏,并在显示屏顶部保留刘海“凹槽”。不过,其凹槽是否会像其他iPhone机型一样包含TrueDepth摄像头阵列,以方便使...
日期:10-12
报告称2015年移动应用下载量将达980亿次_应用下载量排行
  10月8日消息,据国外媒体报道,根据市场分析机构Berg Insight最新发布的报告数据显示,到2015年,移动平台上的应用程序下载量将达到980亿次,应用软件商店的销售额将达到118亿美...
日期:07-23
年度唯一大屏5G手机 传荣耀X30 Max多渠道开始备货 网友:终于等到你(荣耀 x30 max 上市)
  10月20日,知名数码大V发布一条微博,内容显示荣耀X30 Max海报已经出现在线下,结合博主以往内容来看,曝光真实性相当高。基本可以断定,传闻已久的荣耀X30 Max大屏手机终于要来...
日期:11-13
助力运营商深耕“两线”业务,联想百应共同打造中小企业优质IT服务体验
通信世界网消息(CWW)7月21日,中国领先的中小企业一站式IT服务及解决方案提供商联想百应与长沙电信,成功在长沙举办了战略签约仪式,联想集团副总裁、中国区方案服务业务群总经理戴...
日期:07-22
100亿“灰飞烟灭”?知名独角兽紧急回应…_百亿独角兽
中国基金报 安曼连日来,一篇关于清华天才富豪资产被查封,100亿灰飞烟灭的文章,在网络上疯传。没错,这个天才富豪,就是柔宇科技的创始人刘自鸿。9月19日,柔宇科技官微发布声明称,有...
日期:09-22