总部位于瑞典的Hazelight Studios在他们全新的多人视频游戏《双人同行》中使用了面部动画和mocap技术。《双人同行》由EA出版发行。Hazelight团队之前也曾使用Faceware的技术用于制作游戏。本文记录了关于Hazelight接受采访的完整版本，以及工作室进行游戏开发的一些幕后图片。

从生产的角度来看《双人同行》整个创作过程需要多长时间？有多少人参与到这个项目中？

在我们交付游戏《A Way Out》后，我们启动了这个全新的项目《双人同行》。事实上，两个游戏间有一个非常短的重叠时段。这个新项目在开发周期为3年。开始时，工作室有大约40名员工，在项目期间我们达到了75人左右的高峰。动画团队以相似的速度从4人增长到7人，在整个项目中，我们有2名技术动画师。环境艺术团队从5人发展到8人，另外我们还请到了3位角色艺术家帮助我们进行游戏制作。

游戏的艺术风格对面部捕捉有什么挑战吗？

《双人同行》由两种不同的风格组成，其中大部分内容在幻想风格的环境中，一些在更现实的环境中。在幻想世界中，我们通常试图从身体和面部两方面夸大动作，使得角色的表情与动作更加戏剧化。由于我们需要为过场动画制作大量的内容，很明显我们需要用到动作捕捉技术来制作原型动画，因为给所有东西设定关键帧会花费太多时间。在捕捉到的过场动画和大部分关键帧游戏之间找到平衡是一个挑战。在幻想场景中，角色们需要摆出许多不切实际的动作，即使是最有经验的特技演员也不可能做到，所以我们最终不得不在表演捕捉中混入大量的关键帧。这也导致了在场景中混合着多种类型的人脸动画的需求。

游戏中的大部分动画采用面部捕捉的形式制作而成，而一小部分——如序章或结尾——我们会使用ADR（自动对话替换）录音或FaceFX的面部动画，这种方法适用于解决仅来自音频的面部动画。这是一个挑战，要系统地跟踪哪种脸型，以确保动画中的嘴型与声音保持同步。

《双人同行》与《A Way Out》的风格差异非常大。在面部捕捉过程中，团队遇到过什么挑战（之前没有遇到过的）？

虽然我们对工具进行了一些更新，以增强使用面部动画的体验，但底层技术其实并没有太大变化。我们基于在关节上运行的FACS（面部动作编码系统）来制作一组预定义姿势的动画，这与使用blendshapes非常相似，但优化更好。我们把这个系统用于《双人同行》中的所有角色，除了书人哈基姆。因为哈基姆的脸在角色的肚子上，所以有很多其他的变形，如果我们在关节上额外增加脸的变形，这将会发生冲突。我们设法解决了这个问题，将他的大部分面部造型改为混合形状。

让我们更具体一点，游戏中的面部动画起着什么样的作用？实际表现达到你们的期望了么？

通过创建一个以叙事为重点的游戏，传达角色在遭遇中的情感对我们来说非常重要，这样作玩家可以在故事展开时与游戏角色建立并发展联系。面部动画显然在表达这种情绪方面发挥了重要作用，在我们团队所有部门的共同努力下，我认为我们成功实现了我们的目标。

能向我们介绍一下游戏的面部动画管道吗？例如过程的每个阶段，用了哪些面部软件产品等？

我们的目标是尽可能多的记录下演员在表演时的一切面部动作。我们使用专用的软件来对动作数据进行记录，软件能够处理并组合身体、音频和面部动作，并将这些元素依次通过时间码链接在一起。与Faceware的Mark lll头戴摄像头捆绑在一起的Aja Ki Pro面部记录器非常适合这个管道，因为它可以完全由代码控制。

基于所选择的捕获及其时间范围，我们通过使用Analyzer python SDK生成修剪过的面部视频和Faceware Analyzer工作文件。尽管Analyzer在初始跟踪方面做得很好，但仍然需要我们做一些手动的跟踪工作。

当跟踪完成后，所有文件都将通过Faceware Retargeter（它也附带了python API）进行批处理，并单独输出仅包含面部动画的每个面部视频的fbx格式文件。我们在为每个角色到角色的关系定义重定目标模型时使用了重定目标接口。

面部动画之后会被加入到我们的Motionbuilder场景中，其中任何潜在的时间变化都已被缓存，并将自动得到补偿以进行同步。在Motionbuilder中，我们有一个界面专门用来润色面部动画，当场景锁定了摄像机，我们就开始对其进行润色，这样我们就知道应该在哪里努力了。

当我们录制动作捕捉时，没有演员在场为角色配音，也没有制作关键帧，我们使用了ADR。配音演员之后会在已经存在的身体动作之上提供声音和面部表演。保持银华同步对我们来说是一个挑战，但也非常值得一试！

Faceware的软件和硬件是如何帮助你实现目标的？

从Hazelight诞生的第一天起，我就一直雄心勃勃地想最大限度地实现自动化制作，从而尽可能的减少手动处理问题或多余的任务的次数。这是我最喜欢Faceware的一点：它附带了一个API，使我们能够减少手动修正所浪费的时间，所有过程都在内部被自动完成，非常方便。

能和我们分享一些关于面部动画制作过程的轶事吗，以及Faceware的软件或硬件是如何帮助你们的？

为主要角色之一科迪进行动捕和配音的约瑟夫·巴尔德拉马，同时也为书中角色哈基姆配音。从制作的角度来看，理想情况下，我们会为哈基姆找到一个独特的演员，使我们能够捕捉哈基姆的表演，但事实并非如此。这增加了后续ADR会议中这些场景的复杂性。首先，捕捉一本书可能听起来很奇怪，但它的效果出乎意料地好！作为一个精力充沛的角色，哈基姆对ADR来说是一个挑战，但约瑟夫完成得很好。使用Faceware重定目标器，可以创建多个预设，以确定面部应该如何从演员重定目标到任何角色，通过这样做，我们可以很好地为幻想世界的科迪和现实世界的科迪和重定面部目标。

使用Faceware重定目标器，可以创建多个预设，以确定面部应该如何从演员重定目标到任何角色。

从《A Way Out》到《双人同行》，团队使用了不同的Faceware硬件。能告诉我们这些变化以及它们对生产过程的帮助吗？特别是Mark III头戴式摄像机是如何让面部动画制作过程变得更简单或更好的？使用独立摄像头和Mark III有显著区别吗？

在《A Way Out》的开发过程中，我们没有做任何动作捕捉。相反，我们后来严重依赖ADR。我们采用更加独立的方式捕捉ADR，使用连接了SyncBac Pro模块的GoPro摄像机在视频中嵌入时间码。为了通过编辑保持同步，我们有一个类似的管道，如上所述。由于我们没有使用性能捕捉，只有一个面部捕捉源，所以管道可以更简单一些。

为了制作《双人同行》，我们建立了自己的内部动作捕捉工作室，因此升级我们的面部捕捉硬件是一个必要的步骤。我有机会测试了几个Faceware的Mark III摄像头，很快就觉得它们可以匹配我为新阶段的标准。

Mark III提供了一个更好的集成到我们管道的潜力，以及头盔更好佩戴舒适性。面部记录仪的实时预览也要好得多。我认为Faceware所采取的方法有一个优势，即系统中相当多的组件选用行业标准。在连续几天的录制过程中，我们对硬件和软件都有很强的信心，这对我来说很重要。虽然我们从来没有过硬件问题，但我知道除了相机本身，大多数可能损坏的东西都可以很快被购买和更换。我认为Faceware和Mark lll的设置已经找到了一个很好的平衡，我们信任这个系统，Faceware能够让我们把注意力更多地放在舞台上直播的与重要表演上。