当前位置:首页 > 技术分享 > 正文内容

3 个数字人开源,超级 Nice! 阿里 腾讯 浙大

admin1个月前 (02-26)技术分享368

01

阿里开源:EchoMimic V2

阿里达摩院推出了一个令人经验的数字人开源项目-EchoMimic V2。这是一款基于语音驱动的肖像动画生成工具,专注于生成高质量的数字人半身动画视频。

图片

项目简介
EchoMimic V2 不仅能够让虚拟形象开口说话,并且实现口型同步,还能添加头部和身体动作,进一步增强数字形象的表达力,首次实现身体动作口型全同步。

基于中文语音生成:


基于英文语音生成:


核心技术

EchoMimicV2 利用参考图像、音频片段和一系列手部姿势来生成高质量的动画视频,确保音频内容和半身动作之间的连贯性。

图片

音频-姿势动态协调策略:该策略通过姿势采样和音频扩散来增强半身细节和面部表达力,减少条件冗余。
Head Partial Attention:这项技术帮助整合头部数据,设计特定阶段去噪损失优化动画质量。
手部姿势序列生成:项目可以根据参考图片、音频剪辑和手部姿势序列生成高质量动画视频,确保音频内容与半身动作的一致性。

开源地址:https://github.com/antgroup/echomimic_v2
在线Demo:https://huggingface.co/spaces/fffiloni/echomimic-v2

02
腾讯&浙大联合开源:Sonic

一张静态照片 + 一段音频就能让画面中的人物“活过来”,自然地开口说话。腾讯与浙江大学联合推出的开源项目 Sonic 通过音频生成数字人,效果拉满!  

图片

🔥 项目简介 

Sonic 是一个基于分层对齐框架的音频驱动肖像动画生成工具,无论是虚拟偶像、影视创作,还是教育解说,Sonic 都能大显身手!  

只需输入一张人物照片和一段音频(如歌曲或对话),它就能自动合成人物唇部、面部表情、头部动作与音频高度同步的视频,甚至支持长视频生成,避免画面失真。

开源地址:https://github.com/jixiaozhong/Sonic
在线 Demo:http://demo.sonic.jixiaozhong.online/
huggingface:https://huggingface.co/spaces/xiaozhongji/Sonic/



🚀 技术亮点 

图片

① 分层对齐框架:Sonic 将动画分解为唇部同步、表情渲染、头部运动三层,逐级优化细节,使动作更自然流畅,告别机械感。  

② 跨身份泛化能力:无论是真人、动漫角色,还是不同角度的照片,Sonic 都能精准适配,生成高度契合的动画效果。  

③ 长视频稳定性:传统工具在生成长视频时容易出现画面扭曲,而 Sonic 通过动态锚点技术,确保长时间生成的画面稳定无伪影。  

④ 开源易用:项目已集成到 ComfyUI,开发者可快速上手,社区还提供了丰富的案例和教程。  

03

腾讯开源:HunyuanVideo

这个不算数字人模型,是腾讯混元团队开源的一种新颖的视频生成基础模型,其视频生成性能可与领先的闭源模型相媲美,甚至优于它们。

团队进行了大量的实验,并实施了一系列有针对性的设计,以确保高视觉质量、运动多样性、文本-视频对齐和生成稳定性。

根据专业人工评估结果,HunyuanVideo 的表现优于之前的模型,包括 Runway Gen-3、Luma 1.6 和 3 个表现最好的中文视频生成模型。

开源地址:https://github.com/Tencent/HunyuanVideo

扫描二维码推送至手机访问。

版权声明:本文由小刚刚技术博客发布,如需转载请注明出处。

本文链接:http://blog.bitefu.net/post/657.html

分享给朋友:

相关文章

百度云,天翼云盘解析网页地址 收集分享

百度云解析http://p.106666.xyz/https://pan.kdbaidu.com/https://pan.kdpd.me/https://yun.kdbaidu.com/http://blog.xxatf.top/https...

安装Windows 10X 教你如何安装Win10X正式版 及下载地址

安装Windows 10X 教你如何安装Win10X正式版 及下载地址

安装Windows 10X 教你如何安装Win10X正式版:Windows 10X是Windows 10操作系统的新版本,主要针对双屏电脑。由于即将运行Windows 10X的双屏电脑(例如即将面世的Surface Neo)的开发遇到挫折,...

遭遇国外ip抓取或攻击怎么办一招解决禁止海外IP访问

遭遇国外ip抓取或攻击怎么办一招解决禁止海外IP访问

究发现很多网站被攻击都是来自海外的肉鸡,所以禁掉海外IP访问网站也是不错的防护手段,而且国内网站几乎很少有国外用户访问,称之为大局域网也不为过。今天主机吧来教大家如何利用域名解析禁止掉海外IP访问网站。绝大多数域名解析服务商都是提供电信联通...

Nginx服务崩溃自动重启脚本(监控进程服务并自动重启进程服务)脚本

有一台服务器运行着Ngin最近突然有一次崩溃,导致使用方当天无法访问网页端,然后我不得不登录服务器,检查各项服务,发现nginx崩溃了,于是重启Nginx,问题解决。后来为了防止Nginx再发生这种情况给运维带来的运维成本,于是写了一个脚本...

七牛html js上传带进度条源码

七牛html js上传带进度条源码注册链接https://s.qiniu.com/uM7RJv完整代码下载:https://n802.com/f/349707-489018989-c141f6(访问密码:5036)http://www.yi...

用CMD命令查询域名的DNS解析记录:A,NS,MX,CNAME,TXT

1、查询域名的A记录nslookup -qt=A bitefu.net当然查询A记录你直接用ping命令来ping域名也可以获得A记录。2、查询域名的NS记录nslookup -qt=NS bitefu.net3、查询域名的MX记录nslo...

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。