如今，文生图模型在风格化、个性化和可控性方面已经取得了显著进展。然而，将这些进步应用于视频生成时，却面临不少挑战，主要原因在于缺乏专门的视频数据。
为了解决这一问题，一个曾任职于 Google DeepMind 的团队提出了一种名为 Still-Moving 的新方法，该方法允许在不依赖特定视频数据的情况下定制文生视频（T2V）模型。它基于现有的文生图（T2I）模型，构建出适用于视频的模型。
该团队首先使用了一个在静态图像上训练过的定制文生图模型。但由于，直接将其参数应用于视频模型的效果往往不理想，无法满足定制需求。他们开发了一种轻量级的“空间适配器”，用于调整文生图模型生成的特征，并在由定制文生图模型生成的重复图像（类似静止视频）上训练这些适配器。
此外，他们还引入了一个“运动适配器”模块，以便在这些静止视频上进行训练，同时保留视频模型的运动特性。在测试阶段，团队去掉了运动适配器，仅保留训练好的空间适配器。
通过这种方法，他们成功地在保持定制文生视频模型细节的同时，实现了流畅的运动效果。在视频的个性化、风格化以及条件生成等任务中表现出色，成功融合了文生图模型的图像特性与文生视频模型的运动特性。
项目地址
