AI视频软件老大Runway在最新一次升级后,允许用户生成4K分辨率的高清视频。结合AI绘画软件Midjourney,我们可以轻松制作出各种电影级别的视频。

第一步:文生图

首先,我们需要通过Midjourney为视频的每一个分镜生成相应的图片。由于Runway目前还不善于表现大幅度的动作场面,因此我们可以制作一些呈现光影、气候变化的静态风景画,或者表现人物(动物)表情、细微动作的肖像画。

[画面主题,可以是动物场景], Neon Nature Tableaux Mossy Forest Floors, Dawn's break, neon greens/yellows with dew, forest whisper, mossy scent, plush undergrowth textures, featuring, Fujifilm GFX quality, ultra-realistic textures, vibrant yet natural color palette, minimalist forest floor photography --ar 16:9 --style raw --s 250

以同样的风格让Midjourney生成相应的图片,并从中挑选出视频需要的场景画面。

第二步:图生视频

完成分镜的基础画面后我们就可以让Runway来生成视频了。可以通过它们的网站 app.Runway.com 进行制作。

Runway 可以通过文字(TEXT)、图片(IMAGE)以及图片+描述(IMAGE + DESCRIPTION)三种方式来生成视频,每段视频4秒钟。

通过Runway文字直接生成的视频较为写实,如果希望视频更富艺术性最好通过图片以及图片+描述的方式进行制作。制作过程相当简单,只要上传图片,并进行一定的描述,例如一头盯着远处猎物的狼(staring at distant prey)。

不进行描述的话,Runway会自动根据图片生成与之匹配的视频。视频会侧重于表现图片中自然环境的细微变化,例如流水,树叶的摇晃,以及作为场景主体的人物或动物的表情和微动作,例如眨眼,毛发的摆动等。

在开始生成视频前,我们可以进行3项设置。

每一个视频都有一个Seed(种子),它会在视频生成时自动产生,使用同一个Seed可以制作相似的视频。默认打开的Interpolate(插补)会自动补帧,让视频更加流畅。Upscale可以对视频进行缩放,Remove watermark则是去掉Runway的水印,收费会员可以使用这两个选项。

General Motion(一般运动)选项是用来控制画面主体动作变化幅度的。选项值在1-10之间,数值越小画面变化越小,但大数值会造成画面主体变形,例如把狼变成一头怪兽。笔者经过测试,数值保持在5-7 之间效果最佳。

Camera Motion(摄像机运动)则是控制摄像机的运动方式。默认情况,摄像机是静止摆放在被摄对象的正前方。通过设置可以把它调整成Horizontal(水平移动)、Vertical(垂直移动)、Roll(滚动)、Zoom(缩放)这四种模式。并且可以通过 Speed 调整摄像机的移动速度。不过一旦让摄像机进行移动,画面主体就会处于静止状态。就像电影中表现时间静止和慢镜头时的效果。

在完成以上设置之后点击Generate 4s按钮就可以生成视频了。

整个生成过程大约1分钟,视频的尺寸、比例与图片一致。生成完毕后还可以对视频进行延长操作。免费用户可以制作总共120秒的视频。想要制作更长的视频就需要付费啦。

76刀包年可以无限生成,不过这价格有些小贵。大家可根据需要自行选择。

第三步:视频剪辑

Runway 只能制作 4s 的无声视频片段,因此必须通过视频编辑软件进行组合剪辑才能制作出完整的视频。我使用的是剪映(功能齐全+免费),在完成组合后,还可以为视频添加字幕、音效、音乐,以及AI制作的配音。总之借助各种 AI 工具,我们可以在没有任何实际拍摄的情况下创作出属于自己的高清影片。