如今,文生图模型在风格化、个性化和可控性方面已经取得了显著进展。然而,将这些进步应用于视频生成时,却面临不少挑战,主要原因在于缺乏专门的视频数据。

为了解决这一问题,一个曾任职于 Google DeepMind 的团队提出了一种名为 Still-Moving 的新方法,该方法允许在不依赖特定视频数据的情况下定制文生视频(T2V)模型。它基于现有的文生图(T2I)模型,构建出适用于视频的模型。

该团队首先使用了一个在静态图像上训练过的定制文生图模型。但由于,直接将其参数应用于视频模型的效果往往不理想,无法满足定制需求。他们开发了一种轻量级的“空间适配器”,用于调整文生图模型生成的特征,并在由定制文生图模型生成的重复图像(类似静止视频)上训练这些适配器。

此外,他们还引入了一个“运动适配器”模块,以便在这些静止视频上进行训练,同时保留视频模型的运动特性。在测试阶段,团队去掉了运动适配器,仅保留训练好的空间适配器。

通过这种方法,他们成功地在保持定制文生视频模型细节的同时,实现了流畅的运动效果。在视频的个性化、风格化以及条件生成等任务中表现出色,成功融合了文生图模型的图像特性与文生视频模型的运动特性。

项目地址