字节跳动推出了一款名为 DreamActor-M1 的人物动画生成模型，专注于生成高保真、表现力丰富且时序一致的人像动画。与以往只关注局部动作或单一尺度的方法不同，DreamActor-M1 引入了“混合引导”机制，从多维度解决了控制精度、多尺度适应性和长时间一致性等难题。
DreamActor-M1 的核心亮点 在于其基于 Diffusion Transformer（DiT） 的架构设计，并结合了融合姿态和外观信息的“混合引导”机制。在动作控制上，系统整合了隐式面部表示、3D头部模型和3D骨架数据，不仅能精准呈现肢体动作，还能细腻表达面部情绪。这种设计不仅提升了动画的真实感，还确保了人物身份的一致性。
另一个值得关注的设计是其对多尺度动画的支持。无论是肖像还是全身动画，DreamActor-M1 通过渐进式训练策略，在不同分辨率和视角下学习，保证了动画在各种构图和场景中的连贯性和稳定性。这种能力大大增强了模型的通用性，为现实应用提供了更多可能性。
在保持外观和时序一致性方面，DreamActor-M1 提出了创新的解决方案。它通过融合时序帧的运动模式和补充视觉参考，有效减少了复杂动作中可能出现的失真问题，比如人像转动、遮挡或快速运动时的画面不连贯。这一技术进步标志着“生成一致性”从局部帧间优化迈向了全局时序维度。
除了技术突破，DreamActor-M1 还展现了极高的灵活性和可控性。它支持独立调整局部动作（如表情、头部运动），通过骨骼长度调整适配不同体型，甚至可以实现语音驱动的口型同步，覆盖多语言表达。这些功能表明，DreamActor-M1 不仅适用于学术研究，还具备直接应用于虚拟人、数字内容创作和沉浸式交互等产业场景的潜力。
评论(0)