Генеральный директор Nvidia Дженсен Хуанг предсказал будущее корпоративного программного обеспечения, где основную роль будут играть чат-боты, объединенные в единую систему для выполнения задач.
В ходе выступленияна конференции GTC, Хуанг заявил, что создание программного обеспечения в будущем вряд ли потребует написания кода с нуля. Вместо этого предполагается сборка команды из ИИ-агентов, включая модели для делегирования запросов, анализа данных и представления результатов пользователю.
Для интеграции различных ИИ-моделей Nvidia взяла пример с Docker и создала среду выполнения контейнеров для ИИ под названием Nvidia Inference Microservices (NIM). Контейнеры содержат модель и все необходимые зависимости для ее работы, что позволяет развертывать их в любой среде, включая узлы Kubernetes от Nvidia.
Пользование NIM подразумевает наличие подписки на Nvidia AI Enterprise, стоимость которой составляет $4500 в год за каждый GPU или $1 в час за GPU в облаке. Нововведение обещает облегчить пакетирование и оптимизацию моделей, обеспечивая высокую производительность благодаря последним обновлениям.
В дополнение к специфическим для оборудования оптимизациям, Nvidia также работает над обеспечением согласованности коммуникаций между контейнерами для упрощения взаимодействия различных моделей ИИ, что должно облегчить интеграцию моделей, несмотря на различия в API.
Nvidia не только стремится упростить использование ИИ для предприятий, но и разрабатывает инструменты для настройки моделей под конкретные потребности клиентов. Среди них – NeMo Microservicesдля подготовки данных и NeMo Retriever для интеграции информации из векторных баз данных. Модели NIM и NeMo Retriever уже доступны, а NeMo Microservices находится на этапе раннего доступа.