当前位置:首页 > 技术分享

3 个数字人开源,超级 Nice! 阿里 腾讯 浙大

admin11个月前 (02-26)技术分享1131

01

阿里开源:EchoMimic V2

阿里达摩院推出了一个令人经验的数字人开源项目-EchoMimic V2。这是一款基于语音驱动的肖像动画生成工具,专注于生成高质量的数字人半身动画视频。

图片

项目简介
EchoMimic V2 不仅能够让虚拟形象开口说话,并且实现口型同步,还能添加头部和身体动作,进一步增强数字形象的表达力,首次实现身体动作口型全同步。

基于中文语音生成:


基于英文语音生成:


核心技术

EchoMimicV2 利用参考图像、音频片段和一系列手部姿势来生成高质量的动画视频,确保音频内容和半身动作之间的连贯性。

图片

音频-姿势动态协调策略:该策略通过姿势采样和音频扩散来增强半身细节和面部表达力,减少条件冗余。
Head Partial Attention:这项技术帮助整合头部数据,设计特定阶段去噪损失优化动画质量。
手部姿势序列生成:项目可以根据参考图片、音频剪辑和手部姿势序列生成高质量动画视频,确保音频内容与半身动作的一致性。

开源地址:https://github.com/antgroup/echomimic_v2
在线Demo:https://huggingface.co/spaces/fffiloni/echomimic-v2

02
腾讯&浙大联合开源:Sonic

一张静态照片 + 一段音频就能让画面中的人物“活过来”,自然地开口说话。腾讯与浙江大学联合推出的开源项目 Sonic 通过音频生成数字人,效果拉满!  

图片

🔥 项目简介 

Sonic 是一个基于分层对齐框架的音频驱动肖像动画生成工具,无论是虚拟偶像、影视创作,还是教育解说,Sonic 都能大显身手!  

只需输入一张人物照片和一段音频(如歌曲或对话),它就能自动合成人物唇部、面部表情、头部动作与音频高度同步的视频,甚至支持长视频生成,避免画面失真。

开源地址:https://github.com/jixiaozhong/Sonic
在线 Demo:http://demo.sonic.jixiaozhong.online/
huggingface:https://huggingface.co/spaces/xiaozhongji/Sonic/



🚀 技术亮点 

图片

① 分层对齐框架:Sonic 将动画分解为唇部同步、表情渲染、头部运动三层,逐级优化细节,使动作更自然流畅,告别机械感。  

② 跨身份泛化能力:无论是真人、动漫角色,还是不同角度的照片,Sonic 都能精准适配,生成高度契合的动画效果。  

③ 长视频稳定性:传统工具在生成长视频时容易出现画面扭曲,而 Sonic 通过动态锚点技术,确保长时间生成的画面稳定无伪影。  

④ 开源易用:项目已集成到 ComfyUI,开发者可快速上手,社区还提供了丰富的案例和教程。  

03

腾讯开源:HunyuanVideo

这个不算数字人模型,是腾讯混元团队开源的一种新颖的视频生成基础模型,其视频生成性能可与领先的闭源模型相媲美,甚至优于它们。

团队进行了大量的实验,并实施了一系列有针对性的设计,以确保高视觉质量、运动多样性、文本-视频对齐和生成稳定性。

根据专业人工评估结果,HunyuanVideo 的表现优于之前的模型,包括 Runway Gen-3、Luma 1.6 和 3 个表现最好的中文视频生成模型。

开源地址:https://github.com/Tencent/HunyuanVideo

扫描二维码推送至手机访问。

版权声明:本文由小刚刚技术博客发布,如需转载请注明出处。

本文链接:https://blog.bitefu.net/post/657.html

分享给朋友:

“ 3 个数字人开源,超级 Nice! 阿里 腾讯 浙大” 的相关文章

thinkphp等框架开发中容易忽略的xss攻击及应对XSS攻击方法

thinkphp等框架开发中容易忽略的xss攻击及应对XSS攻击方法

虽然说现在的web开发框架都是挺成熟的框架,在性能、安全等方面都有比较好的表现,但问题往往出现在业务逻辑上,如上周我再公司发现的一个跨站脚本攻击,(通常公司是这么过滤的,max(0,$_GET[‘a’])、strip_tags($_GET[…

mysql update不支持set子查询更新 的解决办法

mysql update不支持set子查询更新 的解决办法

先看示例:SELECT uin,account,password,create_user_uin_tree FROM sys_user结果:表中的create_user_uin_tree标识该条记录由谁创建。创…

微软Windows 10升级密钥(例如家庭版升级为企业版) 不能用于激活系统

微软Windows 10升级密钥(例如家庭版升级为企业版) 不能用于激活系统

下面的密钥,是微软官方提供的,仅能用于Windows10系统版本的升级,比如从家庭版升级为专业版、专业版升级为企业版等。升级密钥不能用于激活系统,激活需要KMS或者数字权利,由于涉及到版权问题,在此不宜分享,请大家自行查找激活相关的内容。准…

在CentOS 5.x 6.x里使用yum源 换阿里云国内源换vault.centos.org源

阿里云CentOS 5 的系统,无法用yum来安装应用软件。  原因:CentOS 5 在2017-03-31日已经结束支持,不再提供维护更新,所以包括阿里云镜像站的文件可能都是过时或已经有部分文件缺失。 &n…

python3 selenium webdriver.Chrome php 爬取汽车之家所有车型详情数据[开源版]

介绍本接口是车型库api的补充,用于爬取汽车之家所有车型详情数据开源地址:https://gitee.com/web/CarApi/tree/master/python软件架构python3 selenium webdriver.Chrom…

阿里云盘 分享脚本 抢先实现文件分享功能

Win端基本所有浏览器均可进行安装安装地址:https://bbs.tampermonkey.net.cn/thread-427-1-1.html如何安装:Tampermoneky安装:谷歌浏览器参考:https://bbs.tamperm…

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。