当前位置:首页 > 技术分享 > 正文内容

3 个数字人开源,超级 Nice! 阿里 腾讯 浙大

admin6个月前 (02-26)技术分享697

01

阿里开源:EchoMimic V2

阿里达摩院推出了一个令人经验的数字人开源项目-EchoMimic V2。这是一款基于语音驱动的肖像动画生成工具,专注于生成高质量的数字人半身动画视频。

图片

项目简介
EchoMimic V2 不仅能够让虚拟形象开口说话,并且实现口型同步,还能添加头部和身体动作,进一步增强数字形象的表达力,首次实现身体动作口型全同步。

基于中文语音生成:


基于英文语音生成:


核心技术

EchoMimicV2 利用参考图像、音频片段和一系列手部姿势来生成高质量的动画视频,确保音频内容和半身动作之间的连贯性。

图片

音频-姿势动态协调策略:该策略通过姿势采样和音频扩散来增强半身细节和面部表达力,减少条件冗余。
Head Partial Attention:这项技术帮助整合头部数据,设计特定阶段去噪损失优化动画质量。
手部姿势序列生成:项目可以根据参考图片、音频剪辑和手部姿势序列生成高质量动画视频,确保音频内容与半身动作的一致性。

开源地址:https://github.com/antgroup/echomimic_v2
在线Demo:https://huggingface.co/spaces/fffiloni/echomimic-v2

02
腾讯&浙大联合开源:Sonic

一张静态照片 + 一段音频就能让画面中的人物“活过来”,自然地开口说话。腾讯与浙江大学联合推出的开源项目 Sonic 通过音频生成数字人,效果拉满!  

图片

🔥 项目简介 

Sonic 是一个基于分层对齐框架的音频驱动肖像动画生成工具,无论是虚拟偶像、影视创作,还是教育解说,Sonic 都能大显身手!  

只需输入一张人物照片和一段音频(如歌曲或对话),它就能自动合成人物唇部、面部表情、头部动作与音频高度同步的视频,甚至支持长视频生成,避免画面失真。

开源地址:https://github.com/jixiaozhong/Sonic
在线 Demo:http://demo.sonic.jixiaozhong.online/
huggingface:https://huggingface.co/spaces/xiaozhongji/Sonic/



🚀 技术亮点 

图片

① 分层对齐框架:Sonic 将动画分解为唇部同步、表情渲染、头部运动三层,逐级优化细节,使动作更自然流畅,告别机械感。  

② 跨身份泛化能力:无论是真人、动漫角色,还是不同角度的照片,Sonic 都能精准适配,生成高度契合的动画效果。  

③ 长视频稳定性:传统工具在生成长视频时容易出现画面扭曲,而 Sonic 通过动态锚点技术,确保长时间生成的画面稳定无伪影。  

④ 开源易用:项目已集成到 ComfyUI,开发者可快速上手,社区还提供了丰富的案例和教程。  

03

腾讯开源:HunyuanVideo

这个不算数字人模型,是腾讯混元团队开源的一种新颖的视频生成基础模型,其视频生成性能可与领先的闭源模型相媲美,甚至优于它们。

团队进行了大量的实验,并实施了一系列有针对性的设计,以确保高视觉质量、运动多样性、文本-视频对齐和生成稳定性。

根据专业人工评估结果,HunyuanVideo 的表现优于之前的模型,包括 Runway Gen-3、Luma 1.6 和 3 个表现最好的中文视频生成模型。

开源地址:https://github.com/Tencent/HunyuanVideo

扫描二维码推送至手机访问。

版权声明:本文由小刚刚技术博客发布,如需转载请注明出处。

本文链接:https://blog.bitefu.net/post/657.html

分享给朋友:

相关文章

超高性比的斐讯盒子T1,刷第三方YYF固件机教程超级详细版

超高性比的斐讯盒子T1,刷第三方YYF固件机教程超级详细版

家里面买了斐讯盒子T1,必不可少的就是刷机,刷机一直爽,一直刷机一直爽,这样的快乐一般人体会不到。原来斐讯盒子N1,T1,还有斐讯K2P路由器也变成了性价比超高的东东,而且众多大神也带来了超多可玩性非常高的固件和破解。楼主今天扒到了相关超高...

系统小技巧:微软版“Ghost” Windows FFU 系统安装还原

系统小技巧:微软版“Ghost” Windows FFU 系统安装还原

在日常的维护中,系统的备份和还原是大家经常需要操作的事情。虽然Windows 10已经提供很多的工具,如系统还原、WIM备份/还原,VHD备份等。不过这些工具大多是基于文件的备份/还原。我们以前经常的使用的Ghost则是基于扇区的备份/还原...

在CentOS 5.x 6.x里使用yum源 换阿里云国内源换vault.centos.org源

阿里云CentOS 5 的系统,无法用yum来安装应用软件。  原因:CentOS 5 在2017-03-31日已经结束支持,不再提供维护更新,所以包括阿里云镜像站的文件可能都是过时或已经有部分文件缺失。 &n...

用apicloud 免费,简单封装一个wap手机网站成android app

用apicloud 免费,简单封装一个wap手机网站成android app

APICloud是国内较早布局低代码开发的平台之一,其发布的低代码效率工具Plus Mode,为IT项目中每个角色提供专业工具,将需求分析、产品原型、UI设计、前端开发、后端开发紧密衔接,并基于行业大数据对前置环节进行复用,最终缩减大量重复...

Chrome 最全历史版本下载以及chromedriver下载

https://vikyd.github.io/download-chromium-history-version/#/ https://dl.lancdn.com/landian/soft/chrome/m/ chromedriver的版...

Windows 11 LTSC 数字激活方法/HEU KMS Activator 数字激活/LTSC公key激活

Windows 11 LTSC 数字激活方法/HEU KMS Activator 数字激活/LTSC公key激活

Windows 11 Pro 转换成 Windows 11 Enterprise LTSC(Windows 11 企业版 LTSC) 并获得数字激 活方法1. 在Win11 Pro 中 导入LTSC 数字激 活证书:将 Windows LT...

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。