【世界科幻动态】AIGC科幻创作探索——AI赋能“失重”表演

世界科幻动态 张子瑞 2023-10-13 10:53

导语

AIGC（人工智能生成内容）的创作风潮正在全球范围内蔓延，为广大创作者实现科幻想象提供了新的动力。为了深入探讨AIGC在科幻创作领域的影响，中国科幻研究中心“AIGC赋能科幻影视产业研究”课题组进行了一系列“AI共创科幻短片”实验。在这个过程中，我们充分尝试各类AI工具，有了更多新奇的体验、发现与尝试。

在之前的《AIGC赋能科幻影视技术观察：动作捕捉篇》中，我们向各位读者介绍了AIGC在动作捕捉领域的应用，其中包括计算机视觉和文生动作等技术的引入，这些技术使得更经济高效地实现动作捕捉成为可能。我们也积极尝试借助这些技术进行创作实践。与常规的行走、奔跑、舞蹈等动作捕捉不同，作为科幻爱好者，我们将视野延伸至宇宙的星辰大海，思绪飘游到天宫之间。这次，我们在实验中挑战模拟零重力环境，实现失重表演。

一失重表演在电影中的复现方案

在地球的重力环境下，实现失重镜头一直以来都是一个巨大的挑战。我们参考了导演张小北的介绍以及相关资料，初步整理出过去影视作品中实现失重场景的方案：

1.吊威亚（wire-flying）

吊威亚技术在电影制作中被广泛采用，早在1950年的《登陆月球》（Destination Moon）中就有所体现（图1）。在对太空的理解相对有限的时代，这部电影力图尽可能地追求科学性。为了创造低重力环境的感觉，导演采用了一种方法，将演员系在经过滑轮系统的钢琴线上，并由顶置起重机控制他们的运动。

图1 《登陆月球》失重片段

然而在那个年代，由于钢线容易被照亮，制作团队不得不一次次进行调整和重拍。值得一提的是，著名科幻作家罗伯特·A·海因莱因（Robert A. Heinlein）对电影的最终剧本作出了巨大贡献，并担任了技术顾问，但他也对电影制作之难感到了一些无奈，认为“真实主义真是太贵了”（Realism is confoundedly expensive. 图2）。

图2 海因莱因（图片出自视频“How Space Movies Evolved Over 120 Years” 视频作者Insider）

后来，在经典科幻电影《2001：太空漫游》（2001: A Space Odyssey,1968）（图3）中，导演斯坦利·库布里克也运用了吊威亚技术。他巧妙地将摄像机放在地面向上进行拍摄，这样演员的身体自然地挡住了威亚，巧妙地解决了拍摄穿帮的问题。如今，随着影视特效技术的不断提高，“威亚实景拍摄+后期数字修复”已经成为许多失重场景电影的主要制作方法。《星际穿越》（Interstellar,2014）、《异星觉醒》（Life,2017）以及《流浪地球》（2019）系列等影片都采用了这种方法，效果相当不错。

图3 《2001：太空漫游》失重片段

2.计算机技术集成

计算机技术集成主要体现在数字预演（previs，即通过数字预拍摄，提前规划演员和摄像机的运动）、LED灯箱（可迅速变换以模拟太空中的光线变化）、数字运动控制摄像系统（通过程序精准控制摄像机镜头运动，这一技术在《星球大战》（Star Wars，1977）中得到了广泛应用）以及数字角色（电脑生成的演员数字替身）等方面。其中最令人瞩目的应该是电影《地心引力》（Gravity，2013）（图4）中的17分钟长镜头。在这一镜头中，演员被固定在机械臂上，置于LED灯箱内，在预先规划的演员和摄像机动作的控制下，机械臂、LED灯箱画面、演员太空服上的灯光，以及电控摄像机都能够精确地运动。

图4 《地心引力》特效制作示意

通过这种方式，在正确的光线和视角下，可以捕捉到如演员亲临其境的表演。后期制作时，再将演员面部画面与数字角色合成，最终呈现出这一震撼人心的镜头。近年来，许多太空题材的电影都或多或少地采用了其中的一些技术，例如《登月第一人》（First Man，2018）、《午夜天空》（The Midnight Sky，2020）和《流浪地球2》（2023）。

3.在失重环境中实拍

在1995年制作的电影《阿波罗13号》（Apollo 13，图5）中，制作团队采用了一种特殊改装的波音KC-135飞机，也被戏称为“呕吐彗星”（Vomit Comet）。这架飞机沿着曲线轨迹飞行，创造出了机舱内短暂的失重状态。这让演员能够亲身体验真正的失重环境，从而实现了真实的动作和反应。然而，每次失重只能持续25秒，因此必须提前精心设计每个镜头。为了完成这一壮丽的成就，剧组总共进行了612次飞行，总计经历了将近4小时的失重状态。

图5 《阿波罗13号》失重片段

另一个令人瞩目的例子是俄罗斯电影《深空拯救者》（Challenge，2023）（图6）。这部电影成为了人类历史上首部在太空拍摄的电影。在2021年年中，导演克里姆· 什彭科和女主演尤利娅·裴若希德搭乘联盟MS-19宇宙飞船进入国际空间站，进行为期12天的拍摄。他们还邀请了俄罗斯宇航员客串出演，最终拍摄了30分钟的内容。这些实地拍摄的经历为观众呈现了更加真实和震撼人心的太空场景，也展示了电影制作中不懈的创新和勇气。

图6 《深空拯救者》片段

此外，要科学地再现太空环境，还有一个方法是采用人工重力。例如，在电影《2001：太空漫游》中，制作团队设计了一个环形空间站（图7），通过旋转来产生离心力，从而制造出人工重力。他们建造了一个高约11.5米的离心机，以每小时约4.8千米的速度旋转，以模拟人工引力，效果令人叹为观止。此外，一些科幻作品中也提出了“重力靴”等概念。

图7 《2001太空漫游》置景

无论采用哪种方式，都有一个共同的特点，即高制作门槛和高制作成本。然而，现在我们可以尝试探索一种与之不同的AIGC赋能方案，即“低门槛+低成本”的方法。

在《流浪地球2电影制作手记》中，视效总监赵浩强在介绍视效部门对预拍摄的经验总结时表示：“有趣的是，当我们拍太空漂浮的戏时，在虚拟棚当中反倒可以不用吊钢丝的常规方式，刚好有一些别的戏时有用到担架道具的，在拍摄漂浮的时候，就请演员躺在担架、板车或者木箱上，后面有工作人员去推。因为在虚拍环境中，只有穿戴动捕设备的演员才会被拍到，现场工作人员对于摄影机来说反倒是隐形的。”

维塔数码（Weta Digital）动画总监艾丹·马丁（Aidan Martin）也分享了他们在电视剧《太空部队》（Space Force，2020-2022）制作中的经验：“我们的首席动画师克雷格·杨（Craig Young）做了很多失重动作捕捉表演尝试，有天房间里有一把没有靠背的小滚椅。克雷格坐在上面，我推着他，他表现得好像在失重环境一样……我们最终将那把椅子带到了动作捕捉舞台，让克雷格穿上了这套装备。我会在舞台上将他拉来拉去，这样他就能够仿佛在‘漂浮’一样。有时动作编辑团队会在角色的运动路径上添加更多的漂浮感。但那把椅子就是我们非常高科技的反重力设备。”

相对于现实拍摄，虚拟拍摄具有相当的便利性。在我们此次的技术方案中，我们尝试以“数字演员+AI真人换脸+生成失重动作”的方式来复现失重环境下的动作。需要补充说明，本文关注的重点是失重动作的实现，有关数字演员的内容在本文中不予深入探讨。

二失重动作的AIGC试验

在零重力环境下的动作数据，主流的动作捕捉数据库基本上是空白的，只有极少数的数据来自水中漂浮或者在风洞环境下制作的飞行动作。对于CG动作解决方案，我们有两个主要的方向：基于真实视频素材的动作捕捉和AI辅助动作模拟。

1.方案一：基于真实视频素材的动作捕捉

目前，我们只能获取到有限的公开视频素材，主要来源于中国空间站或国际空间站的科普视频、航天员训练视频、零重力飞船的镜头，以及一些高空跳伞的镜头。我们更侧重使用真实素材作为基础，因为电影中的动作可能存在科学问题，所以不在我们的使用素材范围之内。举例来说，即使是被公认为效果最好的太空电影之一《地心引力》，根据专业科学家的观点，电影中瑞安·斯通博士（桑德拉·布洛克饰）抓住宇航员麦特·科沃斯基（乔治·克鲁尼饰）瞬间的情节，按照严格的科学判定，克鲁尼不会飘走，电影本应该在那一刻结束。

为了进行动作识别，我们利用了神舟十三号的天宫课堂中的角动量实验视频（图8），并采用ROKOKO Vision（动作捕捉厂商ROKOKO推出的一款基于视频识别人体动作的应用）的单摄像头AI动作识别技术进行操作。以下是我们的初步结果（图9），可以看到，叶光富的旋转实验镜头稍作修改后可以直接使用。

图8神舟十三号的天宫课堂中的角动量实验视频片段

图9 视频动捕生成效果（未经过处理）（动图）

但素材制约了我们的进一步探索，主要问题在于：

（1）人体运动镜头有限：目前，单摄像头动作捕捉方案可以相对准确地捕捉到较大幅度的身体动作，但现有素材中，航天员大多处于整体身体相对静止的情况下，即使是在进行实验时，主要也是上半身或仅手部运动。由于目前的视频精度还无法准确采集较小幅度的运动，同时很多动作在展示之后只能持续几秒钟，这也制约了我们的素材数量。相对而言，零重力飞机中的动作更加有趣，但这也引出了下一个问题。

（2）镜头受到多种干扰因素：单摄像头动作捕捉容易受到干扰，首先是在三维空间中识别信息的困难。在地面拍摄中，我们可以以地面作为参照物来尝试重建运动，但在失重环境中，手持镜头意味着被拍摄人员和拍摄者双方的运动，极大地增加了空间重建的难度。例如，高空跳伞的失重镜头因为缺乏参照物，镜头无法使用。其次，存在环境遮挡问题。有时身体的一部分可能被遮挡，虽然人眼可以初步判断动作的样态，但AI不一定能提供准确的答案。如果在相对复杂的环境中拍摄，如国际空间站可能存在相对杂乱的情况，或者零重力飞机上有多位人员（图10），这都会给动作识别带来很多困难。

图10 博尔特在零重力飞机上赛跑

值得一提的是，在探讨这个问题时，我们发现专业航天科研人员为了在微重力环境中进行人体运动的定量研究也在探索类似的问题。在2013年的论文《微重力运动捕捉技术的评估》（“Evaluation of Motion Capture Techniques in Microgravity”）中，提到了使用光学、红外或Kinect等方案进行动作评估。中国的研究团队在2023年的论文《具有自校准功能的宇航员姿势重建多视觉系统》（“A Multi-View Vision System for Astronaut Postural Reconstruction with Self-Calibration”）中提出了卷积神经网络的免校准人体姿态评估方案。然而，这些方案都需要多个摄像头，因此在我们的素材范围内并不适用。

2.方案二：AI辅助动作模拟

在天宫课堂中，我们有幸观察了许多物理实验，包括最新一期中点燃太空圆圆的火苗，这再次验证了牛顿定律的正确性。因此，我们尝试进行了与前文相反的操作，以定律为核心，通过AI辅助来推导出失重环境中的动作。

这次，我们使用了AI辅助的动画软件Cascadeur。该软件预设了物理环境的设置，同时基于人体物理学来修复动作。我们尝试复制了航天员叶光富的旋转动作（图11），首先设定了手臂的动作变化——双臂张开、收缩…...同时也为全身设定了旋转（图12、图13）。可以看到，在最终经过AI调整后，结果与叶老师的动作完全一致，收缩时速度快，张开时速度慢。这种速度变化完全由软件生成，没有人工干预。

图11 神舟十三号天宫课堂角动量守恒实验

图12 AI辅助失重动画制作复刻角动量守恒

图13 AI辅助失重动画制作前滚翻（动图）

我们向前一步，进一步设计抓住扶手，向前空翻等一系列动作（图14）。

图14 AI辅助失重动画制作抓住扶手向前空翻

在这个过程中，我们也面临了一些困难：

（1）缺乏外力干预：在完全失重且没有外力干涉的情况下，人体很难自主旋转，即便是翻身，也会保持静态（图15）。航天员叶光富在中国空间站的“筋斗云”中，实际上是通过脚首先接触到航天器，从而产生初步的外力，然后身体开始旋转。因此，这套方案离不开人工设定动作。

图15 失重参考视频自主旋转困难

（2）人工设定动作：除了增加工作量，人工设定动作最大的问题是缺乏真实感，需要动画师具备高度的观察和制作能力，并没有降低门槛。因此，我们希望能够更进一步，继续尝试寻找更有效的方法。

3.方案三：视频捕捉+AI模拟

最初的方案是希望使用半身的动作进行动作捕捉，然后通过AI来模拟全身动作。一开始，我们选择使用动作捕捉库中的数据生成动作，虽然物理上是正确的，但动作却显得奇怪（图16）。

图16 视频捕捉+AI辅助失重动画制作效果不佳

经过分析，问题出在动作数据上。在地面上，人体主要的发力点是脚步与地面的接触点，这导致了全身动作与脚步动作之间存在关联。而《流浪地球2》和《太空部队》中的转椅方案也不能满足半身动作的需求。直到我们在《地心引力》的幕后花絮中获得了灵感，演员桑德拉·布洛克坐在转椅上扭动身体，绑定了其中一条腿，这相当于以身体的臀部为轴（接近身体重心），可以实现符合力矩的半身动作（图17）。

图17 《地心引力》幕后制作官方纪录片片段

因此，我们采用了相同的思路，首先进行了绑腿，再通过视频采集全身动作，最终保留上半身动作，AI修正全身。腿部是相同的道理，我们采用了类似体操运动员在鞍马上的做法，效果如图18。

图18 AI辅助失重动画制作

从上述结果可以看出，我们的方案取得了一定的效果（动作还需要优化）。在以往的太空电影中，为了控制成本，有时会选择删除失重环境的实际拍摄，特别是在一些特写或近景镜头中。然而，我们的方案可以满足即使在细节镜头中，身体姿势都符合物理环境，因此能够为整部影片呈现出更加真实的质感。

我们对以上技术做出了一些展望：

（1）与他人或环境的交互：与其他人物或环境进行交互是一个有挑战性的领域。目前，一些软件如endorphin（角色动画模拟软件）和Unreal Engine（游戏引擎，现也被用于影视及动画制作）在重力环境下提供了类似的功能，但在失重环境中仍需要进一步的技术集成。这可能包括开发更智能的碰撞检测和交互算法，以实现更逼真的互动体验。

（2）更高效的动作生成方案：在动作捕捉方面，文生动作捕捉和更高效的摄像机识别技术是未来可能的发展方向。这些技术展望将有助于进一步提升在失重环境中实现动作的质量和效率，使太空电影和其他相关领域的制作更加引人入胜。

三AIGC——创造不可能

回顾之前的尝试，这个问题的本质其实是：在已经掌握相关规律的前提下，如何巧妙地借助这些规则和逻辑，在有限的样本基础上创造更多的内容。在这个项目中，AIGC的任务就是模拟现实世界，而不是试图超越物理定律或第一性原理。当我们超越表面的失重“飘浮”，转而让AIGC以牛顿定律的“本质”来思考世界时，实际上更有助于满足我们的需求。

而规则和设定不就是科幻创作中的“世界观设定”吗？科幻创作者通过规定虚构世界的规则，可以推演出各种社会、科技和文化的可能性，从而创造出引人入胜的世界观。在这个过程里，AIGC不是旁观者，它可以帮我们深挖规则的内涵，弄清不同规则之间的互动奥秘，然后，给科幻创作者提供建议，协助构建更精彩、更一致的虚构世界，让科幻创作者可以挥洒更疯狂的想象，基于这些规则创作出更多刺激的情节和内容。如下图，就是在AIGC的辅助下，以现有空间站为基础进行了一定的未来风格概念设计。

图19：AI作画软件stable diffusion生成科幻图片