据谷歌AI博客9月9日发布的消息,谷歌DeepMind与Primordial Soup合作推出纪录短片《Love, Rendered》,借助人工智能重建一对结婚超过70年的夫妇正在消退的初遇记忆。影片由奥斯卡提名导演Liz Garbus执导,Dan Cogan和Darren Aronofsky担任制片,Aronofsky的创意公司Primordial Soup参与制作。
短片主角是Burt和Ethelle Shatz。两人结婚70余年,Burt出现认知衰退。他们最珍贵的记忆之一,是在克利夫兰一家学生合作社初次相遇的那一天。由于当时没有照片或影像记录,这一天只存在于两人的脑海中。为重建这段未被记录的过去,影片团队让人工智能模型充当艺术媒介和工具,同时由人类在每个环节提供指导。Ethelle坐在团队旁边,成为共同创作者,她会纠正楼梯的弧度或鞋跟的形状。
影片技术负责人在文中写道,记忆丧失对他而言是个人经历。他的祖父在去世前曾中风并失去记忆,最后一次探望时,祖父以为他还在上大学,并为他的毕业感到高兴。这段经历促使他尝试用同样媒介更深入地连接家人。项目开始时,他向父亲索要旧家庭照片,测试图像修复技术,并用视频模型让照片动起来。看到父母以二十多岁的样子活动,让他更确信这些工具能帮助留住最重要的东西。
Liz和Darren对记忆的韧性感到好奇。Liz在执导纪录片《Coma》时看到,最小意识状态患者听到熟悉声音或看到亲人图像时,fMRI扫描出现反应。多年后,Darren看到一段前芭蕾舞演员的影像:这位阿尔茨海默病患者听到《天鹅湖》后,在轮椅上本能地跳起舞步。这些经历让创作团队转向回忆疗法。该临床实践利用歌曲、家庭故事和老照片等感官线索刺激记忆、激发对话并重建情感连接。但当一段记忆没有这类线索时,团队选择用AI重建。
技术路径分为两部分。在图像修复方面,团队使用生成模型修复Burt和Ethelle年轻时的黑白照片,使后续重建能忠实于人物形象。在姿态与表演控制方面,工程师使用表演捕捉模型,记录Burt和Ethelle当下的微表情和小动作,包括Burt头部特定的倾斜、说话时短暂的迟疑以及眼角细微的皱纹。把这些特征映射到他们年轻时的形象上,让重建画面生动起来。两种媒介结合后,Burt和Ethelle的过去与现在交织在一起。团队生成的“记忆”被这对夫妇认为感觉真实。
Darren在制作期间表示,工具就像画笔或锤子,只有由人手引导才能发挥作用。在《Love, Rendered》中,机器学习被用来引导Burt和Ethelle回溯时光,帮助他们留住正在消失的时刻。影片也指向更日常的应用:用户可以在Gemini应用中上传老照片,并让Gemini修复和上色,同时保留人物的外貌、表情和姿势。