《复联 4》特效解析：打造灭霸和绿巨人

《复仇者联盟4》在中国内地票房已突破40亿元，其中的特效制作也是一大亮点，今天就跟大家分享下《复联 4》特效解析，如何打造灭霸和绿巨人！

Key Words

- 全片视效镜头 2496个

- Overall VFX Supervisor：Dan DeLeeuw （妇联3和妇联4都是他）

- DRS新的面部系统‘Medusa’和‘Anyma'

- HMC from Fox VFX Lab (formerly Technoprops)

- Weta （负责制作thanos的部分）新的绑定技术 Deep Shapes （在表情传递的时候用更精细和复杂的算法来获得更真实和细微的表演）

- DD （负责制作thanos的部分）升级了面部tracking的系统，加入了机器学习的部分，启用Bullseye把面部解算时间从1-2周变成了几个小时。

-Quantum Suits（量子太空服）由Marvel的视觉开发部门设计的Ryan Meinerding设计，由Framestore，ILM和DNEG并行完成后面的细节工作。

-Thanos 和Hulk制作上的区别，Thanos的表演希望尽可能保留Josh Brolin微妙表现中的细节；而Hulk的则是表演转化中的宽容度和“反差萌”

-中间最难管理的部分是追踪onset 产生的大量数据，比如 CG角色扫描数据，SFX，环境资产，环境扫描，灯光采样，动捕数据.....密密麻麻....

- 因为3和4在一起制作的原因，小编猜想这个一定程度上的降低了VFX House的边际成本，一个是对项目的熟悉程度达成共知，一个是合作默契，大家尽可能的分享可用的资产，以及复用过往数据。

Digital Domain和Weta Digital在Endgame中共同帮助Thanos完成复杂而微妙的表演。Digital Domain在这部分的制作相比于《无限战争》中的流程，变化不多，但是加入了更多的机器学习。相比之下，Weta Digital在制作复仇者联盟同时还在制作《Alita：Battle Angel》（点击可以回顾关联阅读），基于在Alita面部捕捉的惊艳效果，可以猜测weta在Endgame中面部表演捕捉优化上投入了大量的开发资源。

Thanos 归田园之WETA 篇

Weta在原有的FACETS（weta digi自己的一套面部跟踪技术）流程上继续深度开发，在过往已有的解决方案中，加入了机器学习方案，在之前的项目中也有所运用。

流程的第一步，按常规完美的匹配真人版和数字版Josh Brolin（就是Thanos的表演者）之间的表演，第二步把digital Josh的数据映射到Thanos身上，中间当然是会遇到一些小挫折，所以在绑定和校准的过程中进行了大量的数据迭代和匹配，最终建立比较完美的传递性。整个过程跟Alita的非常类似。

Josh的数字资产精度跟其他weta制作的生物角色精度完全在同一个level，使用lighting stage 扫描以及DRS Medusa 4D data capture 的数据（也是Disney Research Studio今年获得奥斯卡技术讲提名的一个技术），同时用Josh的Medusa 数据做了ROM测试（Range of Motion 动态范围测试），最终得到了一个精确的数据匹配。

虽然《无限战争》里面的thanos已经可以让人wow一下了，但是weta的小哥们觉得他嘴角的动画还是有点不太好看，所以在Endgame中找到了修复这个bug 的时间和机会。在修复的过程中weta开发了一个新技术— Deep Shapes ，这个技术的应用也是” Gemini Man“（李安老师的今年要上映的新电影-双子星）的预告看着上去很棒的一个原因。

Deep shape 就是尽可能的提高动画和画面上的key blendeshapes，使角色动画有一个高保真的还原度，可供动画师有选择的使用。 简单说就是建立了两个面部表达，在想要呈现的细节度上加上了一个0-100%阈值控制，来分析计算出一些细微的动画以增加关键动画中的惯性感，这个计算的过程属于非肌肉模拟的过程。

正是因为动画表演层面上细节的提高，Thanos在电影中失败消散的那一刻才更观众觉得同情和惋惜，因为这个部分纯靠表演，没有台词，慢慢飘走。

因为Josh比角色还是要矮很多，所以跟其他演员演对手戏的时候还是需要一些穿戴来保证其他演员的眼线位置的正确性以及交互动作位置的准确性，对于负责的打斗场次，基本还是依靠动画来实现了。

Thanos整个用了Weta自己的肌肉系统，这个系统可以像真实身体一样在动作触发前自动完成肌肉的预备动作。

Thanos 归田园之DD 3.0 篇

DD和Weta在onset 数据层面上共享的是完全相同的数据。基于之前DD写实角色中的优秀表现，流程上他们放弃了FACS，走的是机器学习的道路，开发了一个叫Masquerade软件。

Masquerade可以利用150个稀疏的面部训练点，预测出一个新的高分辨率大概70,000个点的3D人脸以及MoCap数据。

鉴于Masquerade的成功，DD决定采用类似的机器学习方法来跟踪演员面部的标记。按过去做法，每次解算需要几天到一周或两周的时间。而这次在Endgame上使用的解决方案做了一个自动化流程优化。DD写了一个新软件名为Bulls Eye，它大概只需要大约一个小时左右就能完成面部跟踪和解算，相比过去需要几周的时间来说，是一个非常关键的进步。

Masquerade软件仍然像在Infinity War中一样使用，在Brolin面部重建低网格模型，Bullseye用来处理HMC素材，在三个空间中跟踪标记并解算数据。在校准过程中，Bulleye每天都会训练新的数据，因为即使有指导手册，这些跟踪点也不会每天都画在相同的位置。

另外，DD同时还研究了如何提高流程效率并优化Josh嘴唇的保真度。

DD正在使用的流程称之为 Direct Drive scenario（数据直接驱动模型的方案），简单的理解就是用捕捉到的数据去直接驱动另外一个需要匹配动作的角色，这个方法的缺点是可能会让动画师失去太多掌控力，所以团队在尝试解决这个问题，让驱动数据底层能和常规的动画UI界面关联，这样可以让动画师来控制更加复杂的驱动数据。同样他们也有其他的工具来辅助提高由直接驱动系统产生的内容，这个工具叫WPSD（pose shape deformation).这个技术让DD在整个制作过程中更快的处理和转换镜头，并在最终动画中保持了更多的控制力。

小编看上个月TED里有提到他们在做的一个研发，叫 Digital Doug，有兴趣的同学可以去看一下，实时状态已经驱动的很好了，运用了deepfake，做了一个sandbox test.

----------- 终于轮到HULK了-----------

写到这里小编觉得视效最后可能也是算力的战场，只是目前我们的状态还差的有点远，属于旁观战场的级别。

Hulk在妇联4中被定义为一个新的角色，因为他散失了一定的攻击力，虽然还是那么大的块头。角色由ILM 和 Framestore共同完成，重塑Hulk的指导方针是：让Banner和Hulk的角色合并，让hulk的表演更接近于人类演员。

Hulk这一次还是由Mark Ruffalo扮演，ILM在marvel art部门的设计上，让角色融入Ruffalo的特征，为了让这个设计起作用，光魔做了些测试，以增强片方的信心。

拍摄的时候，Ruffalo一般需要穿动捕套装和头盔式摄像系统。动作捕捉数据由Profile Studios处理，HMC来自Fox VFX Lab（前身为Technoprops），表演需要尽可能的让所有演员都在，尤其是有交互表演的时候，这样能保证演员创作感觉的稳定性。

对于Ruffalo的面部表演采集，和往常一样也是需要脸上带着点在不同的场景中穿梭；和上面thanos的操作一样，Ruffalo也是经历了各种扫描，包括Disney Research （Zurich ）的‘Medusa’ ，目的就是为了尽可能令人信服地将Ruffalo的表演转化为CG Hulk的表演。

重建Hulk的面部动画系统是ILM的重建角色重心的一部分，第一步需要确保扫描解算得到的Ruffalo的数据可以用在CG Banner的身上；然后基于需要的各种细节来改进算法。好在在项目结束之前使用上了DRS新的解算器-Anyma（ILM从2012年开始就在自己的流程中测试了Anyma，现在已经被应用在一些项目中）。方法是使用3台摄像机和一个ADR设备来的记录表演图像和相关数据，然后把头戴摄像机的数据给到Anyma解算，Anyma不仅仅是依靠低分辨率的mesh，而是生成per-frame 的mesh，根据头戴式摄像机的数据进行光度解算。Anyma和以前的表演捕捉系统的关键区别在于它能够捕获更多信息以及它可以分析像素级细节，另外动画师可以使用它来控制200多个独立的面部属性。整个测试中，ILM需要考察整个方案的稳定性，直到得到一个不错的结果再做第二步的工作，把Ruffalo 解算后的数据映射到Hulk身上。

影片中ILM和Framestore共同完成了的Hulk镜头，随着CG角色的细化，Framestore也提供了相关的测试镜头。从ILM的角度来看，具备所有捕捉数据，参考，细致建模，装配和材质纹理的Hulk使他们能够完全控制hulk在动画中的表现，个人觉得做的是真的非常好！

Framestore采用了类似的方法，其动画部分也引入了新的机器学习，挑选关键帧匹配之后丢给机器学习并解算得到第一版的动画，但是这个只是一个比较快速不完美的版本，然后交给动画师处理，最后在通过ML添加一些微小的细节动画，使之流畅。最大的挑战是这么把握更加拟人化的Hulk，中间选择去传递什么样的数据和表情变得比较纠结，有时候看到Ruffalo就在素材中的时候，会觉得hulk跟他很像觉得很正常，有时候又会觉得比较奇怪，中间需要去找到他们的平衡。

ILM在项目中迭代了面部动画的流程，总监Earl的描述上看也是压力巨大的，他是这么描述的：在制作电影的过程中改变一项关键技术有点像在比赛中途换掉汽车引擎，让新技术成为现实并运行起来，让他夜不能寐。没有什么东西可以开箱即用。

要是还有人认为视效是弹个响指就能实现的，可以多读两遍这句话，重新体会一下。

作者：CGView

来源：影视工业网