当前位置:首页 > 技术分享 > 正文内容

3 个数字人开源,超级 Nice! 阿里 腾讯 浙大

admin9个月前 (02-26)技术分享888

01

阿里开源:EchoMimic V2

阿里达摩院推出了一个令人经验的数字人开源项目-EchoMimic V2。这是一款基于语音驱动的肖像动画生成工具,专注于生成高质量的数字人半身动画视频。

图片

项目简介
EchoMimic V2 不仅能够让虚拟形象开口说话,并且实现口型同步,还能添加头部和身体动作,进一步增强数字形象的表达力,首次实现身体动作口型全同步。

基于中文语音生成:


基于英文语音生成:


核心技术

EchoMimicV2 利用参考图像、音频片段和一系列手部姿势来生成高质量的动画视频,确保音频内容和半身动作之间的连贯性。

图片

音频-姿势动态协调策略:该策略通过姿势采样和音频扩散来增强半身细节和面部表达力,减少条件冗余。
Head Partial Attention:这项技术帮助整合头部数据,设计特定阶段去噪损失优化动画质量。
手部姿势序列生成:项目可以根据参考图片、音频剪辑和手部姿势序列生成高质量动画视频,确保音频内容与半身动作的一致性。

开源地址:https://github.com/antgroup/echomimic_v2
在线Demo:https://huggingface.co/spaces/fffiloni/echomimic-v2

02
腾讯&浙大联合开源:Sonic

一张静态照片 + 一段音频就能让画面中的人物“活过来”,自然地开口说话。腾讯与浙江大学联合推出的开源项目 Sonic 通过音频生成数字人,效果拉满!  

图片

🔥 项目简介 

Sonic 是一个基于分层对齐框架的音频驱动肖像动画生成工具,无论是虚拟偶像、影视创作,还是教育解说,Sonic 都能大显身手!  

只需输入一张人物照片和一段音频(如歌曲或对话),它就能自动合成人物唇部、面部表情、头部动作与音频高度同步的视频,甚至支持长视频生成,避免画面失真。

开源地址:https://github.com/jixiaozhong/Sonic
在线 Demo:http://demo.sonic.jixiaozhong.online/
huggingface:https://huggingface.co/spaces/xiaozhongji/Sonic/



🚀 技术亮点 

图片

① 分层对齐框架:Sonic 将动画分解为唇部同步、表情渲染、头部运动三层,逐级优化细节,使动作更自然流畅,告别机械感。  

② 跨身份泛化能力:无论是真人、动漫角色,还是不同角度的照片,Sonic 都能精准适配,生成高度契合的动画效果。  

③ 长视频稳定性:传统工具在生成长视频时容易出现画面扭曲,而 Sonic 通过动态锚点技术,确保长时间生成的画面稳定无伪影。  

④ 开源易用:项目已集成到 ComfyUI,开发者可快速上手,社区还提供了丰富的案例和教程。  

03

腾讯开源:HunyuanVideo

这个不算数字人模型,是腾讯混元团队开源的一种新颖的视频生成基础模型,其视频生成性能可与领先的闭源模型相媲美,甚至优于它们。

团队进行了大量的实验,并实施了一系列有针对性的设计,以确保高视觉质量、运动多样性、文本-视频对齐和生成稳定性。

根据专业人工评估结果,HunyuanVideo 的表现优于之前的模型,包括 Runway Gen-3、Luma 1.6 和 3 个表现最好的中文视频生成模型。

开源地址:https://github.com/Tencent/HunyuanVideo

扫描二维码推送至手机访问。

版权声明:本文由小刚刚技术博客发布,如需转载请注明出处。

本文链接:https://blog.bitefu.net/post/657.html

分享给朋友:

相关文章

[Windows] Adobe Flash Player 34.0.0.92及可用版修改方法

[Windows] Adobe Flash Player 34.0.0.92及可用版修改方法

随着 2021 年的到来,Adobe Flash Player 也迎来了告别,Adobe 在 2020 年 12 月 31 日后将不再支持 Flash Player。其实早在 2017 年,Adobe 公司就已宣布,计划在 2020 年底逐...

超高性比的斐讯盒子T1,刷第三方YYF固件机教程超级详细版

超高性比的斐讯盒子T1,刷第三方YYF固件机教程超级详细版

家里面买了斐讯盒子T1,必不可少的就是刷机,刷机一直爽,一直刷机一直爽,这样的快乐一般人体会不到。原来斐讯盒子N1,T1,还有斐讯K2P路由器也变成了性价比超高的东东,而且众多大神也带来了超多可玩性非常高的固件和破解。楼主今天扒到了相关超高...

centos 配置Let's Encrypt 泛域名https证书

centos 配置Let's Encrypt 泛域名https证书

前言2018年1月份Letsencrypt可以申请泛域名证书,这让我们部署多域名、多站点https省了很多功夫,终于可以不用维护多个域名的https证书。笔者以acme.sh为例,手把手教你配置https证书~本教程适用于centos 6....

阿里云盘 分享脚本 抢先实现文件分享功能

Win端基本所有浏览器均可进行安装安装地址:https://bbs.tampermonkey.net.cn/thread-427-1-1.html如何安装:Tampermoneky安装:谷歌浏览器参考:https://bbs.tamperm...

微软 Win11 安卓子系统已支持运行支付宝等 APK 应用(附手动侧载安装教程攻略)

微软 Win11 安卓子系统已支持运行支付宝等 APK 应用(附手动侧载安装教程攻略)

微软博客宣称,Windows 11 上 安卓子系统运行 Android  应用程序的第一个预览版现已提供给美国 Beta 频道的 Windows 内部人员。Windows 11 安卓子系统支...

apache限制某个目录下的php文件没有执行权限 解决图片木马

1. 使用.htaccess 文件限制 在要限制php执行的目录下,创建.htaccess文件,加入内容php_flag engine off.htaccess 下载地址(使用方法,下载后解压 上传.htaccess文件到附件目录)http...

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。