Netflix 推出了 Go-with-the-Flow 模型，一款能够灵活控制视频生成中运动模式的工具。它让用户可以自由决定场景中镜头和物体的运动方式，甚至还能将一个视频的运动模式“迁移”到另一个视频上。

为了实现这些功能，Netflix 的技术团队仅通过微调一个基础模型，无需改动原有的处理流程或模型架构。唯一的变化是，他们不再使用传统的高斯噪声（随机点点），而是引入了一种“变形噪声”。除此之外，模型的运行方式与基础模型完全一致，计算成本也丝毫未增加。

更有趣的是，这个模型还具备调节运动强度的功能！通过一种名为“噪声降解”的技术，用户在生成视频时可以灵活选择控制的力度。不仅如此，这项技术不仅支持图像转视频（I2V），还可以用于文本转视频（T2V），甚至能够仅凭运动信息生成高度逼真的 3D 场景。

1. 模型亮点

  • 使用关键帧为物体制作动画
  • 动作迁移
  • 精确的镜头控制
  • “剪切与拖拽”动画
  • 转台动画

2. 剪切与拖拽动画（I2V）

用户可以粗略地勾勒出一个物体轮廓，并将其用作动作引导。它会从第一帧开始，遵循拖拽的运动轨迹，生成一段自然平滑的视频。

3. 视频和编辑帧结合（I2V）

结合原始视频和一个编辑帧，模型能够无缝地将用户的编辑应用到整个视频中，同时保持所有内容与原始动作一致。

4. 转台镜头运动迁移

模型使用一个 3D 渲染的转台镜头对动作进行引导，并大幅超越了基础的 MotionClone 模型。它生成的场景具有更好的 3D 一致性，并且能够完美匹配镜头的运动。

5. Davis 动作迁移（T2V）

模型使用原始视频作为动作信号，并通过一个新的目标提示来引导输出。从而生成一个既符合目标提示又保持原始视频动作的视频。

6. 动作控制：WonderJourney（I2V）

基于单目深度估计（Monocular Depth Estimation，是一种计算机视觉技术，旨在通过单张二维图像推测场景中每个像素点到摄像机的距离，也就是估算图像中的深度信息。这项技术非常重要，因为普通的2D图像并不直接包含深度信息，而深度信息在3D重建、自动驾驶、增强现实等领域至关重要。）的图像转视频模型，将一张静态图像转化为一个一致的 3D 场景。

7. 重新光照与超级分辨率

通过不同的噪声变形和插值技术的应用。对比使用 DiffRelight 进行重新光照和使用 DeepFloyd Stage II 进行超级分辨率的效果。

项目地址：https://eyeline-research.github.io/Go-with-the-Flow