当前位置:首页 > 技术分享 > 正文内容

3 个数字人开源,超级 Nice! 阿里 腾讯 浙大

admin8个月前 (02-26)技术分享829

01

阿里开源:EchoMimic V2

阿里达摩院推出了一个令人经验的数字人开源项目-EchoMimic V2。这是一款基于语音驱动的肖像动画生成工具,专注于生成高质量的数字人半身动画视频。

图片

项目简介
EchoMimic V2 不仅能够让虚拟形象开口说话,并且实现口型同步,还能添加头部和身体动作,进一步增强数字形象的表达力,首次实现身体动作口型全同步。

基于中文语音生成:


基于英文语音生成:


核心技术

EchoMimicV2 利用参考图像、音频片段和一系列手部姿势来生成高质量的动画视频,确保音频内容和半身动作之间的连贯性。

图片

音频-姿势动态协调策略:该策略通过姿势采样和音频扩散来增强半身细节和面部表达力,减少条件冗余。
Head Partial Attention:这项技术帮助整合头部数据,设计特定阶段去噪损失优化动画质量。
手部姿势序列生成:项目可以根据参考图片、音频剪辑和手部姿势序列生成高质量动画视频,确保音频内容与半身动作的一致性。

开源地址:https://github.com/antgroup/echomimic_v2
在线Demo:https://huggingface.co/spaces/fffiloni/echomimic-v2

02
腾讯&浙大联合开源:Sonic

一张静态照片 + 一段音频就能让画面中的人物“活过来”,自然地开口说话。腾讯与浙江大学联合推出的开源项目 Sonic 通过音频生成数字人,效果拉满!  

图片

🔥 项目简介 

Sonic 是一个基于分层对齐框架的音频驱动肖像动画生成工具,无论是虚拟偶像、影视创作,还是教育解说,Sonic 都能大显身手!  

只需输入一张人物照片和一段音频(如歌曲或对话),它就能自动合成人物唇部、面部表情、头部动作与音频高度同步的视频,甚至支持长视频生成,避免画面失真。

开源地址:https://github.com/jixiaozhong/Sonic
在线 Demo:http://demo.sonic.jixiaozhong.online/
huggingface:https://huggingface.co/spaces/xiaozhongji/Sonic/



🚀 技术亮点 

图片

① 分层对齐框架:Sonic 将动画分解为唇部同步、表情渲染、头部运动三层,逐级优化细节,使动作更自然流畅,告别机械感。  

② 跨身份泛化能力:无论是真人、动漫角色,还是不同角度的照片,Sonic 都能精准适配,生成高度契合的动画效果。  

③ 长视频稳定性:传统工具在生成长视频时容易出现画面扭曲,而 Sonic 通过动态锚点技术,确保长时间生成的画面稳定无伪影。  

④ 开源易用:项目已集成到 ComfyUI,开发者可快速上手,社区还提供了丰富的案例和教程。  

03

腾讯开源:HunyuanVideo

这个不算数字人模型,是腾讯混元团队开源的一种新颖的视频生成基础模型,其视频生成性能可与领先的闭源模型相媲美,甚至优于它们。

团队进行了大量的实验,并实施了一系列有针对性的设计,以确保高视觉质量、运动多样性、文本-视频对齐和生成稳定性。

根据专业人工评估结果,HunyuanVideo 的表现优于之前的模型,包括 Runway Gen-3、Luma 1.6 和 3 个表现最好的中文视频生成模型。

开源地址:https://github.com/Tencent/HunyuanVideo

扫描二维码推送至手机访问。

版权声明:本文由小刚刚技术博客发布,如需转载请注明出处。

本文链接:https://blog.bitefu.net/post/657.html

分享给朋友:

相关文章

360浏览器如何禁止切换到兼容模式[本地终极办法]

360浏览器如何禁止切换到兼容模式[本地终极办法]

浏览器内核控制标签meta说明背景介绍由于众所周知的原因,国内的主流浏览器都是双核浏览器:基于Webkit的内核用于常用网站的高速浏览,基于IE的内核主要用于部分网银、政府、办公系统等网站的正常使用。以360浏览器为例,我们优先通过Webk...

mysql update不支持set子查询更新 的解决办法

mysql update不支持set子查询更新 的解决办法

先看示例:SELECT uin,account,password,create_user_uin_tree FROM sys_user结果:表中的create_user_uin_tree标识该条记录由谁创建。创...

百度云,天翼云盘解析网页地址 收集分享

百度云解析http://p.106666.xyz/https://pan.kdbaidu.com/https://pan.kdpd.me/https://yun.kdbaidu.com/http://blog.xxatf.top/https...

关于微信第三方平台(全网发布检测)检测流程以及踩到的坑

关于微信第三方平台(全网发布检测)检测流程以及踩到的坑

能点到全网发布这一步,说明你已经弄好了获取component_verify_ticket,component_access_token等这些参数,通常这个时候点击全网发布只会有这两个失败。如果其他失败的那就要好好检查一下你的代码了,或者查看...

微软版Ghost Win10:FFU映像备份和还原

微软版Ghost Win10:FFU映像备份和还原

在日常的维护中,系统的备份和还原是大家经常需要操作的事情。虽然Windows 10已经提供很多的工具,如系统还原、WIM备份/还原,VHD备份等。不过这些工具大多是基于文件的备份/还原。我们以前经常的使用的Ghost则是基于扇区的备份/还原...

2021可用的百度网盘高速下载方法分享

2021可用的百度网盘高速下载方法分享

最新可用方法https://blog.bitefu.net/post/163.html方法很简单就是利用网盘直链下载助手【网盘直链下载助手】是一款免费开源获取网盘文件真实下载地址的油猴脚本,基于PCSAPI,支持Windows,Mac,Li...

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。