Netflix 利用人工智能技术改进影视制作中的合成技术

7月11日 消息:Netflix 利用机器学习技术改进了影视制作中的合成技术。他们提出了一种名为 "Magenta Green Screen" 的方法，通过在拍摄现场使用大量红色和蓝色光线照明演员，再使用机器学习模型将丢失的绿色通道恢复。这种方法简化了合成过程，使得合成的效果更加准确和清晰。

图片来源:Netflix

然而，这种方法需要在拍摄现场用花哨的洋红色照明演员，因此可能会对演员和制作人员造成困扰。

该技术的巧妙之处在于，通过将前景设为红色/蓝色，将背景设为绿色，简化了分离两者的过程。普通相机通常会捕捉这些颜色，但会捕捉红色、蓝色和 Alpha。这使得生成的遮罩极其准确，消除了必须将全频谱输入与有限频谱关键背景分离而产生的伪影。

当然，他们似乎只是用一个困难代替了另一个困难:现在合成的过程很容易，但恢复洋红色照明对象的绿色通道却很困难。

图片来源:Netflix

由于主题和构图不同，因此必须系统地、适应性地完成，但注入绿色的“天真的”线性方法会导致褪色、淡黄色的外观。而这个难题则由人工智能来解决。

该团队根据自己的训练数据训练了一个机器学习模型，本质上是对类似场景的“排练”，但灯光正常。卷积神经网络被给予全光谱图像的补丁来与洋红色的图像进行比较，并开发出一种以比简单算法更智能的方式快速恢复丢失的绿色通道的过程。

这一模型让色彩在后期中可以得到完美的复原，但演员和布景必须以这种可怕的方式进行照明。不少演员抱怨这种光照方式太刺眼且难以忍受。

最新的论文显示，以上的照明问题也可以解决，只要每秒多次打开和关闭洋红色/绿色照明。研究发现，每秒24次（即大多数电影和电视拍摄的帧速率）会分散注意力，但如果他们更快地打开灯光——如每秒144次——那么它看起来“几乎是恒定的”。尽管还存在一些技术挑战，但这种创新的合成方法为影视制作带来了新的可能性。