傍晚网_企业培训网课、创业交流、自媒体教程资讯

傍晚网

热门关键词:  管理制度 股权激励 创业副业

阿里云AI新进展:只需图片和文字 就能生成数字人视频

来源: 作者:洪笛童 时间: 浏览:
[ 导读 ] 8月16日,阿里云推出数字人视频生成工具Live Portait,上传一张照片和一段文本或语音即可生成一段开口说话的数字人视频,可应用于视频直播、聊天机器人、企

8月16日,阿里云推出数字人视频生成工具Live Portait,上传一张照片和一段文本或语音即可生成一段开口说话的数字人视频,可应用于视频直播、聊天机器人、企业营销等场景。目前,该工具已在魔搭社区创空间开放体验,在魔搭社区用手机注册账号,即可免费试用。

自对话大模型和AI绘画模型相继火热后,业界对生成式AI的研究逐步朝更多模态的方向演进,AI视频生成便是热门技术之一。

这项技术可将文本或音频等信息转换为面部运动信息,进而驱动生成照片人物形象的动画,能有效降低视频拍摄和制作门槛。

这次上线的Live Portait工具由运动模块和生成模块组成,采用阿里云自研的口型预测算法,生成的口型准确度相比传统方法大幅提高。

在训练阶段,Live Portait增加了姿态的显式控制,不需要底板视频也可以生成任意动作的视频,大幅提升数字人说话的真实感。

此外,通过眼神主动控制技术,Live Portait可以为眼球增加一些自然运动,使得生成结果在观感上更接近真人效果。据介绍,Live Portait相关技术已被CVPR、ICCV等国际AI顶会收录。

根据魔搭社区上的信息显示,在Live Portait上传照片后,用户可选择文本驱动和音频驱动两种方式,文本驱动模式下,该工具提供了普通话、英语、粤语、童声等28种声音。

此外,Live Portait还提供了轻量模型选择,帮助用户更快速生成视频。

该工具算法负责人张邦表示:“Live Portait集成了团队多项自研创新技术,例如仅需单张图片就能生成逼真的面部动画,突破了传统对抗生成网络的局限。随着技术的进一步迭代,图生视频有巨大的应用空间,有望成为企业降本增效的生产工具。”

据悉,该团队研究方向涵盖数字人、3D模型AI生成、高真实感渲染、自然人机交互等领域,目前已发表50多篇国际顶会论文。

阿里通义新视频生成和编辑模型VACE 可控制运动轨迹、替换主体等

阿里通义新视频生成和编辑模型VACE 可控制运动轨迹、替换主体等

2025-05-09 洪笛童

是否还在感叹视频制作门槛高,后期编辑太烧脑?别担心,阿里通义Wan团队再次出手,推出了他们最新的重量级模型All-in-One视频生成和编辑模型——VACE。V
淘宝卖家必备的14款插件工具

淘宝卖家必备的14款插件工具

2025-02-01 洪笛童

淘宝卖家必备的14款插件工具1. 店侦探、店查查、千里眼:这些工具可以在浏览器中查看各种数据,帮助你分析竞争对手的情况。
阿里:我只是退出江湖,但江湖一直有我的传说

阿里:我只是退出江湖,但江湖一直有我的传说

2024-07-09 洪笛童

自从“改革开放”政策实施之后,众多外资企业和资本纷纷涌入中国市场,外资的刺激下,我国的经济和科技都驶入了发展的“快车道”。不仅一些沿海城市率先迎来了发展的黄金机
关注傍晚云课堂 免费送万门2024年热门课程

关注傍晚云课堂 免费送万门2024年热门课程

2024-07-05 洪笛童

关注傍晚云课堂 免费送万门2024年热门课程 课程、课件、文档全可以下载本地保存。 复式自动引流,趟着赚钱 本月活动,转发你自
易优CMS使用腾讯云点播视频教程

易优CMS使用腾讯云点播视频教程

2024-06-25 洪笛童

1. 注册并登录腾讯云,地址: https://cloud.tencent.com2. 登录后鼠标轻触产品字样,在搜索框输入云点播并回车进入 3. 点击立
生成海报