字节跳动与浙大联合开发 Loopy 模型,性能媲美阿里微软

字节跳动与浙大联合推出Loopy语音驱动肖像模型,仅需单张图像+音频即可生成自然口型、微表情及头部运动,支持照片/动漫/雕塑等多种风格与侧脸输入;其创新时序模块能建模长程运动规律,无需手动设定运动模板,效果媲美阿里EMO与微软VASA。

发布于2024年9月6日 05:07
编辑零重力瓦力
评论0
阅读15

字节跳动和浙江大学联合开发出了一款新的叫做 Loopy 的语音同步肖像模型。它的表现不亚于阿里的 EMO 和 微软的 VASA。

字节跳动与浙大联合开发 Loopy 模型

具体来讲,它拥有一个时序模块,涵盖了剪辑之间和剪辑内部的时间处理,还有一个音频到潜在特征的模块。这能让模型利用数据里的长期运动信息,从而学习自然的运动模式,并且改进音频与肖像运动的关联。这种方法去除了现有方法中在推理时需要手动指定空间运动模板来限制运动的要求,进而在各类场景中给出了更逼真、更高质量的结果。

Loopy 支持多种视觉和音频风格。仅凭一张人物肖像和一段音频,它就能生成生动的运动细节,比如非语言动作(如叹气)、情感驱动的眉毛和眼睛运动,以及自然的头部运动。

Loopy 可以根据不同的音频输入生成相应运动的结果,即使是对于同一参考图像,无论音频是快速的、舒缓的,还是歌唱表演,视频的表现都相当自然。

无论是照片、动漫形象还是雕塑,Loopy 的表现一样出色

Loopy 甚至还支持侧面的人物肖像,极大地拓展了它的应用范围

Loopy 项目地址:loopyavatar.github.io

相关文章

Opus 4.7 编程飞轮再加速,Mythos 悬而未发
AI 新闻资讯
2026年4月22日
0 条评论
小创

Opus 4.7 编程飞轮再加速,Mythos 悬而未发

Anthropic 发布 Claude Opus 4.7,编程能力跃升至 SWE-bench Pro 64.3 分,文档推理与视觉导航表现显著优于 GPT-5.4。模型刻意削弱了安全漏洞复现能力,并采用新 Tokenizer 导致消耗增加。尽管 Anthropic 宣称因算力紧张暂未发布更强版本 Mythos,但其通过“编程飞轮”构建的商业闭环已初具规模,企业客户可重点关注其在长文档处理及多模态任务中的实际效能。

#Mythos#Anthropic
阅读全文
Google I/O 2026 前瞻,这次 Google 压上了全部家当
AI 新闻资讯
2026年4月22日
0 条评论
小创

Google I/O 2026 前瞻,这次 Google 压上了全部家当

Google I/O 2026 定档 5 月 19 日至 20 日,被视为谷歌史上赌注最大的一届。核心看点包括 Gemini 4 首秀、Veo 4 视频生成升级及轻量级 AI 眼镜发布。更关键的是 Aluminium OS 桌面系统亮相,旨在补齐移动与桌面闭环。在千亿美元投入下,谷歌试图通过搜索、OS、硬件与智能体的全面重构,应对来自 GPT-6 等竞品的激烈挑战。

#Google
阅读全文
OpenAI 的存在性问题
AI 新闻资讯
2026年4月20日
0 条评论
小创

OpenAI 的存在性问题

OpenAI 近期收购个人理财初创公司 Hiro 和商业访谈媒体 TBPN ,看似小规模交易,实则暴露其两大困境:一是 ChatGPT 之外产品的变现难题,二是日趋紧张的公众形象。 Anthropic 在企业市场和编程工具领域持续施压,令 OpenAI 焦虑。这两次收购更像是修补产品线、修复舆论的应急之举,而非战略扩张。

#OpenAI
阅读全文
互动讨论

评论区

围绕《字节跳动与浙大联合开发 Loopy 模型,性能媲美阿里微软》展开交流,未登录用户可浏览评论,登录后可参与讨论。

评论数
0
登录后参与评论
支持发表观点与回复一级评论,互动后将同步到消息中心。
登录后评论
暂无评论,欢迎成为第一个参与讨论的人。