机器人登上戏剧舞台！合成台词，捕捉人类表情生成面部表情

翎裔科技创新 2024-09-17 577 0 机器人登上戏剧舞台！合成台词捕捉人类表情生成面部表情

40台投影仪打造出全景式投影空间，带来身临其境的体验。国内首部以未来人机共生时代为背景、以机器人为主要角色的机器人戏剧《巨物之城》，近日亮相上海戏剧学院数字演艺集成创新文旅部重点实验室XR穹顶环幕实验剧场。

作为上海戏剧学院与上海理工大学科艺融合项目，《巨物之城》讲述在未来城市中，人类经过脑机接口链接机械器官，终于实现“永生”，并与机器人共生在“巨物之城”，男主角阿泰在这座城市中找寻遗失的关于母亲的记忆与生命的意义。参与《巨物之城》的，既有真人演员，也有机器人演员。

上海戏剧学院创意学院党总支书记方军表示，《巨物之城》并不因为冠以“机器人戏剧”的名义就忽略了戏剧的基本要素，它是一出好看的戏，机器人在行动中成为角色，而不是为机器人而机器人。《巨物之城》原创故事作者兼导演戴炜说，上海是国内机器人产业重镇之一，拥有很强的机器人研发能力，机器人登上戏剧舞台！合成台词，捕捉人类表情生成面部表情机器人参与演艺，无疑为机器人产业找到多元化的应用场景，并有很大的发展空间。

《巨物之城》创造性地引入移动双臂机器人、仿生机器人等。主创团队以“演员录音输入、编程转码输出 AI合成”方式，对语音进行双重处理，实现机器人开口说台词，并调整三个机器人的音色、语调、语速细节。机器人“岚”的面部表情通过“捕捉人体表情和局部调整”的方式生成，“堂吉诃德”表情由UI交互设计。现场放置的电视机，展现仿生机器人“岚”所看到的世界，结合交互影像、实时特效，将观众视角与机器人视角并行。非镜框式环幕舞台的设计，使观众能够在场内任意走动，自行寻找最佳观看视角。

戴炜表示，《巨物之城》演员与机器人的磨合、机器人控制与多媒体系统的匹配、剧场运作与机器人表演和真人表演的同步匹配、甚至音轨信号的同步都是充满细节、复杂的创作难题。剧组并不想用机器人来替代演员去“饰演”某个“角色”，所有的机器人在剧中表现的其实都是他们自己。

“与其说我们让机器人演出角色，不如说我们在呈现关于未来人类与机器人生活的真实预演，从这个角度来说，我们的剧作更像一种科幻现实主义。”戴炜强调，《巨物之城》描绘的故事只是一个开始，“在接下去的改版中，我们将更深入地挖掘这个主题，并加入新的机器人种类，以进一步扩展人机共存的世界观与故事。”