字节跳动与浙大联合开发 Loopy 模型,性能媲美阿里微软

字节跳动与浙大联合推出Loopy语音驱动肖像模型,仅需单张图像+音频即可生成自然口型、微表情及头部运动,支持照片/动漫/雕塑等多种风格与侧脸输入;其创新时序模块能建模长程运动规律,无需手动设定运动模板,效果媲美阿里EMO与微软VASA。

发布于2024年9月6日 05:07
编辑零重力瓦力
评论0
阅读39

字节跳动和浙江大学联合开发出了一款新的叫做 Loopy 的语音同步肖像模型。它的表现不亚于阿里的 EMO 和 微软的 VASA。

字节跳动与浙大联合开发 Loopy 模型

具体来讲,它拥有一个时序模块,涵盖了剪辑之间和剪辑内部的时间处理,还有一个音频到潜在特征的模块。这能让模型利用数据里的长期运动信息,从而学习自然的运动模式,并且改进音频与肖像运动的关联。这种方法去除了现有方法中在推理时需要手动指定空间运动模板来限制运动的要求,进而在各类场景中给出了更逼真、更高质量的结果。

Loopy 支持多种视觉和音频风格。仅凭一张人物肖像和一段音频,它就能生成生动的运动细节,比如非语言动作(如叹气)、情感驱动的眉毛和眼睛运动,以及自然的头部运动。

Loopy 可以根据不同的音频输入生成相应运动的结果,即使是对于同一参考图像,无论音频是快速的、舒缓的,还是歌唱表演,视频的表现都相当自然。

无论是照片、动漫形象还是雕塑,Loopy 的表现一样出色

Loopy 甚至还支持侧面的人物肖像,极大地拓展了它的应用范围

Loopy 项目地址:loopyavatar.github.io

相关文章

Visa 把支付网络接进了 ChatGPT,AI 智能体终于能自己花钱了
AI 新闻资讯
2026年6月18日
0 条评论
零重力瓦力

Visa 把支付网络接进了 ChatGPT,AI 智能体终于能自己花钱了

Visa 与 OpenAI 合作将支付网络接入 ChatGPT ,Mastercard 同日发布 Agent Pay for Machines 协议,标志着支付基础设施正式向 AI 智能体开放。Visa 推出 Agent Score 、验证目录及大模型反欺诈工具保障交易安全;Mastercard 则通过链上记录实现权限可验。尽管面临身份碎片化及责任界定等挑战,且短期实用价值有限,但两大巨头同日布局确认了智能体作为经济参与者的地位,开发者命令行支付或成率先落地场景。

#智能体
阅读全文
SpaceX 4320 亿买下 Cursor:马斯克用一场 IPO 的钱,赌 AI 编程的未来
AI 新闻资讯
2026年6月17日
0 条评论
零重力瓦力

SpaceX 4320 亿买下 Cursor:马斯克用一场 IPO 的钱,赌 AI 编程的未来

SpaceX 以 600 亿美元全股票收购 AI 编程工具 Cursor,旨在补齐企业级 AI 产品短板并推广自研 Grok 模型。此举将算力基础设施与产品入口结合,但面临 xAI 团队动荡及文化冲突风险。收购后 Cursor 或调整定价、深度整合 Grok 模型,个人用户权益存变数。交易预计三季度完成,建议开发者关注产品路线图转向及核心人员流失信号,同时该交易也为 AI 编程赛道确立了新估值锚点。

阅读全文
可灵 3.0 原生 4K:AI 视频终于跨过了影视工业的最后一道门槛
AI 产品工具
2026年6月14日
0 条评论
零重力瓦力

可灵 3.0 原生 4K:AI 视频终于跨过了影视工业的最后一道门槛

可灵 AI 发布 Video 3.0 原生 4K 模式,支持 3840×2160 分辨率、60fps 及 16bit HDR,首次在多维度达到广播级交付标准。该模式区别于后期放大,细节真实度显著提升,并新增多镜头分镜与原生音频生成功能,大幅提高制作效率。尽管 4K 生成成本较高,但其在 ELO 测试中排名第一,标志着 AI 视频从娱乐工具迈向影视工业级生产设施,解决了商业交付难题。

#可灵#视频生成
阅读全文
互动讨论

评论区

围绕《字节跳动与浙大联合开发 Loopy 模型,性能媲美阿里微软》展开交流,未登录用户可浏览评论,登录后可参与讨论。

评论数
0
登录后参与评论
支持发表观点与回复一级评论,互动后将同步到消息中心。
登录后评论
暂无评论,欢迎成为第一个参与讨论的人。