Meta 推出新的 AI 视频生成模型:VideoJAM,运动表现超越 Sora。VideoJAM 不仅能够生成外观逼真的视频,还能让视频拥有更加自然流畅的运动效果。传统的视频生成模型往往比较注重画面细节,容易忽略动作的连贯性,导致生成的视频看起来不够真实。为了解决这个问题,VideoJAM 在训练的过程中同时学习画面和动作,并将两者结合在一起。在生成视频时,它还会使用一种叫 Inner-Guidance 的方法,根据模型自己预测的动作,不断调整画面生成的方向,确保动作更加自然流畅。不需要额外的数据或复杂改动,VideoJAM 就能用在各种视频生成模型上。无论是跳舞、各种运动还是慢动作特写,VideoJAM 都能生成更真实、更协调的视频!

项目地址:hila-chefer.github.io/videojam-paper.github.io