Magic 1-For-1 (Magic141)，一款高效的开源视频生成模型，能够在短短1分钟内生成一段长达1分钟的 AI 视频。它的核心思路很简单：把 "文本生成视频" 这个复杂任务拆分成两两步："文本生成图像" 和 "图像生成视频"。这样一来，不仅训练更高效，模型的表现也更稳定。
相比直接从文本生成视频，先生成图像再转视频的方式更容易训练，收敛的速度也更快。而且，他们还用了一些巧妙的优化手段，让训练和推理都更省计算资源。
- 引入多模态信息，提高训练效率，让模型更快收敛
- 用对抗性蒸馏方法减少计算步骤，加速推理
- 通过参数稀疏化减少推理时的内存消耗，降低显存占用
最终的效果是，这款模型可以在 3 秒内生成 5 秒视频，并且通过滑动窗口技术，可以在1分钟内生成完整的1分钟长视频。
代码和模型已经开源，感兴趣的朋友可以试试！
评论(0)