NVIDIA数字人技术让AI角色栩栩如生

领先的AI开发者借助NVIDIA技术套件为游戏、医疗、金融服务和零售等应用创建栩栩如生的动态角色化身

2024年3月18日—美国加利福尼亚州圣何塞—2024 GTC—NVIDIA宣布领先的AI应用开发者正使用NVIDIA数字人技术为商业应用和动态游戏角色创建栩栩如生的化身。应用成果本周在美国加州圣何塞举行的GTC上展示,同时,也会在 HippocraticAI、Inworld AI、UneeQ等公司的技术Demo中展示。

用于语音和动画的NVIDIA ACE(NVIDIA Avatar Cloud Engine) 、用于语言功能的NVIDIA NeMo™以及用于光线追踪渲染的NVIDIA RTX™是开发者创建能进行AI驱动的自然语言交互的数字人的基石,使对话更逼真和引人入胜。

NVIDIA开发者与图形性能技术部门副总裁John Spitzer表示:“NVIDIA为开发者提供世界级的AI驱动的技术,用于创建数字人。这些技术支持复杂的动画和语音对话,增强数字互动真实感。”

世界级的数字人技术

数字人技术套件包括由AI驱动的语言、语音、动画和图形:

  ●  NVIDIA ACE — 可帮助开发者通过由NVIDIA Audio2Face™驱动的面部动画以及由NVIDIA Riva自动语音识别(ASR)和文本转语音(TTS)驱动的语音交流,让数字人栩栩如生。ACE 微服务非常灵活,允许模型根据本地 GPU 的性能在云端和 PC 上运行,以确保用户获得最佳体验。

  ●  NVIDIA NeMo — 一个端到端平台,可帮助开发者提供企业级的生成式AI模型,包括精确的数据管护、先进的模型个性化定制、检索增强生成和加速性能。

  ●  NVIDIA RTX — RTX全局光照 (RTXGI) 和 DLSS 3.5等渲染技术的集合,可在游戏和应用中实现实时路径追踪。

构建数字人和虚拟助手的模块

为展示数字人技术的全新功能,NVIDIA与 Hippocratic AI、Inworld AI和 UneeQ等行业领先开发者合作展示一系列全新技术Demo。

Hippocratic AI已打造一个以安全为重点、由 LLM 驱动、针对特定任务的医疗代理。该代理可给患者打电话、跟进护理协调任务、提供术前指导、执行出院后管理等。在GTC上,NVIDIA与Hippocratic AI合作扩展其解决方案,使用NVIDIA ACE微服务、NVIDIA Audio2Face以及NVIDIA Animation graph和NVIDIA Omniverse™ Streamer Client来展示生成式AI医疗数字人代理的潜力。

Hippocratic AI 联合创始人兼首席执行官 Munjal Shah 表示:“我们的数字助理为全球患者提供有所帮助、及时和准确的信息。NVIDIA ACE 技术通过前沿的视觉效果和逼真的动画,让医疗助理栩栩如生,有助于我们更好地与患者沟通。”

UneeQ是一个自主数字人平台,专门为客户服务和互动应用创建AI驱动的化身。它的数字人在线代表品牌与客户实时沟通,增强客户购买信心。UneeQ 将NVIDIA Audio2Face 微服务集成到其平台中,并将其与 Synanim ML相结合,以创建高度逼真的数字人,从而获得更好的客户体验和参与度。

UneeQ公司创始人兼首席执行官Danny Tomsett表示:“UneeQ公司将NVIDIA动画AI与我们自己的Synanim ML合成动画技术相结合,使数字人支持实时人机交互,这种人机交互具有情感响应能力,能提供由对话式AI驱动的动态体验。”

为游戏带来栩栩如生的NPC

NVIDIA ACE是一套旨在让游戏角色栩栩如生的技术。Covert Protocol是Inworld AI公司与NVIDIA合作开发的一项全新技术Demo,它突破了游戏中角色互动的界限。Inworld AI引擎集成NVIDIA Riva 和NVIDIA Audio2Face,前者可实现精确的语音转换文字,后者可提供逼真的面部表情。

Inworld AI引擎采用多模态方法来展示非玩家角色(NPC),将认知、感知和行为系统集成在一起,在精心制作的环境中呈现令人惊叹的 RTX 渲染角色,以实现身临其境的叙事效果。

Inworld AI公司首席执行官Kylan Gibbs表示:“NVIDIA ACE微服务与Inworld引擎的结合使开发者能创建可以推动动态叙事的数字化身,为玩家解密、推理和玩游戏开辟全新可能性。”

全球游戏发行商正评估NVIDIA ACE如何改善游戏体验。

医疗、游戏、金融服务、媒体和娱乐以及零售行业的开发者都在使用 ACE

顶级游戏和数字人开发者正在开创性地利用 ACE 和生成式AI技术来改变游戏和应用中玩家与 NPC 之间的互动。

采用 ACE 的开发者和平台包括Convai、Cyber Agent、Data Monsters、Deloitte、HippocraticAI、IGOODI、Inworld AI、Media.Monks、米哈游、网易游戏、完美世界游戏、Openstream、掌趣科技、Quantiphi、Rakuten Securities、Slalom、SoftServe、腾讯、Top Health Tech、Ubisoft、UneeQ 和Unions Avatars。  

平台开发者可将数字人交互技术套件或单个微服务整合到他们的产品中。

开发者可通过申请早期访问计划获取开发中的AI模型,开启NVIDIA ACE之旅。要探索可用的模型,开发者现在就可在ai.nvidia.com上评估和访问NVIDIA NIM,这是一套易于使用的微服务,旨在加速Riva和Audio2Face生成式AI的部署。

关于NVIDIA自1993年成立以来,NVIDIA 一直是加速计算领域的先驱。NVIDIA 1999年发明的GPU驱动了PC游戏市场的增长,并重新定义了现代计算机图形,开启了现代AI时代,正在推动跨市场的工业数字化。NVIDIA现在是一家全栈计算公司,其数据中心规模的解决方案正在重塑整个行业。