合成的过程，或者说将演员置于实际不存在的背景前，这个过程与电影制作本身一样古老——而且一直是一种痛苦。Netflix 有一项新技术，依靠机器学习来完成一些艰苦的工作，但它需要用花哨的洋红色照明演员。
几十年来，最简单的合成方法是色度键控，其中演员站在色彩鲜艳的背景（最初是蓝色，后来是绿色）背景下，可以轻松识别并替换为从天气图到与灭霸的战斗等任何内容。前景被认为是“无光泽的”，背景是与红色、绿色和蓝色通道一起操纵的透明“alpha”通道。
它既简单又便宜，但也有一些缺点，其中包括透明物体、头发等精细细节的问题，当然还有与背景颜色相似的任何其他东西。不过，它通常已经足够好了，用更复杂和更昂贵的方法（如光场相机）取代它的尝试已经失败。
不过，Netflix 研究人员正在尝试将新旧技术结合起来，实现简单、完美的合成，但代价是需要糟糕的现场灯光设置。
正如最近发表的一篇论文所述，他们的“洋红色绿幕”本质上是将演员置于灯光三明治中，从而产生了令人印象深刻的效果。在他们身后，亮绿色（主动点亮，不是背景）;前面是红色和蓝色的混合，形成了鲜明的对比色。
绿幕上的演员们在洋红色的灯光下
由此产生的现场效果可能会让最有经验的后期制作艺术家望而却步。通常，您希望用相当自然的光线照亮演员，因此尽管他们可能需要在这里或那里进行一些打孔，但他们在相机内的外观相对正常。但如果它们只用红光和蓝光照亮，它的外观就会完全扭曲，因为当然，正常光的光谱不会被切断很大一部分。
但该技术的巧妙之处还在于，通过将前景设为红色/蓝色，将背景设为绿色，简化了分离两者的过程。普通相机通常会捕捉这些颜色，但会捕捉红色、蓝色和 Alpha。这使得生成的遮罩极其准确，消除了必须将全频谱输入与有限频谱关键背景分离而产生的伪影。
当然，他们似乎只是用一个困难代替了另一个困难:现在合成的过程很容易，但恢复洋红色照明对象的绿色通道却很困难。
由于主题和构图不同，因此必须系统地、适应性地完成，但注入绿色的“天真的”线性方法会导致褪色、淡黄色的外观。如何实现自动化?人工智能来救援!
该团队根据自己的训练数据训练了一个机器学习模型，本质上是对类似场景的“排练”，但灯光正常。卷积神经网络被给予全光谱图像的补丁来与洋红色的图像进行比较，并开发出一种以比简单算法更智能的方式快速恢复丢失的绿色通道的过程。
简单的算法会导致较差的结果（上图），而更复杂的机器学习模型会产生与地面真实情况非常相似的颜色
因此，色彩在后期可以得到令人惊讶的良好恢复（它与相机内的真实情况“几乎无法区分”）——但仍然存在演员和布景必须以这种可怕的方式进行照明的问题。许多演员已经抱怨在绿幕前工作是多么不自然——想象一下在刺眼、不人道的灯光下做这件事。
然而，该论文通过“时间复用”照明的可能性解决了这个问题，本质上是每秒多次打开和关闭洋红色/绿色照明。每秒 24 次（即大多数电影和电视拍摄的帧速率）会分散注意力（甚至是危险的），但如果他们更快地打开灯光——每秒 144 次——它看起来“几乎是恒定的”。
然而，这需要与相机进行复杂的同步，相机必须仅在场景呈洋红色的短暂时刻捕获光线。他们还必须考虑丢失的运动帧……。
如您所知，这仍然是非常实验性的。但这也是一种有趣的方式，用一种新鲜的高科技方法来解决媒体制作中的一个古老问题。这在五年前是不可能的，虽然它可能会也可能不会在片场被采用，但它显然值得尝试。
