Компания NVIDIA анонсировала на выставке Computex 2023 новый сервис под названием NVIDIA Avatar Cloud Engine (ACE) for Games, который позволяет разработчикам игр создавать и внедрять индивидуальные модели речи, диалога и анимации для неигровых персонажей (NPC) с помощью искусственного интеллекта.
Сервис ACE for Games основан на технологии NVIDIA Omniverse и включает в себя оптимизированные модели искусственного интеллекта для разных аспектов взаимодействия с NPC, таких как:
- NVIDIA NeMo – для создания, настройки и развертывания языковых моделей, используя собственные данные. Большие языковые модели могут быть адаптированы под сюжет и характер персонажей, а также защищены от нежелательных или небезопасных диалогов с помощью NeMo Guardrails.
- NVIDIA Riva – для автоматического распознавания речи и синтеза речи из текста, чтобы обеспечить живое разговорное общение.
- NVIDIA Omniverse Audio2Face – для мгновенного создания выразительной лицевой анимации игрового персонажа, соответствующей любому звуковому треку. Audio2Face поддерживает коннекторы Omniverse для Unreal Engine 5, так что разработчики могут добавлять фациальную анимацию прямо к MetaHuman персонажам.
Разработчики могут интегрировать весь комплекс решений NVIDIA ACE for Games или использовать только те компоненты, которые им нужны.
NVIDIA продемонстрировала возможности сервиса ACE for Games в сотрудничестве со стартапом Convai, который специализируется на разработке передового разговорного искусственного интеллекта для виртуальных игровых миров. Convai интегрировал модули ACE в свою платформу для создания реалистичных аватаров в режиме реального времени.
В демонстрации под названием Kairos игроки взаимодействуют с Джином, хозяином лапшичной. Хотя он является NPC, Джин отвечает на естественные языковые запросы реалистично и в соответствии с нарративной задумкой – все с помощью генеративного искусственного интеллекта.
Нейронные сети, которые обеспечивают работу NVIDIA ACE for Games, оптимизированы для разных возможностей, с различными компромиссами между размером, производительностью и качеством. Сервис ACE for Games поможет разработчикам подобрать модели для своих игр, а затем развернуть их через NVIDIA DGX Cloud, GeForce RTX PC или локально для вывода в режиме реального времени. Модели оптимизированы для задержки – критического требования для погружения и отзывчивости в играх.
Генеративный искусственный интеллект имеет потенциал революционизировать интерактивность игроков с персонажами игры и значительно увеличить погружение в игры”, – сказал Джон Спитцер, вице-президент по технологиям разработки и производительности в NVIDIA.
Разработчики игр уже используют технологии генеративного искусственного интеллекта от NVIDIA для своих проектов. Например, студия SC Game World применяет Audio2Face в своей грядущей игре S.T.A.L.K.E.R. 2: Heart of Chernobyl. А инди-разработчик Fallen Leaf использует Audio2Face для фациальной анимации персонажей в Fort Solis – научно-фантастическом триллере от третьего лица, действие которого происходит на Марсе.