Команда DeepMind, подразделение Google, представилазначительные улучшения в области робототехники, направленные на повышение скорости, эффективности и безопасности роботов в реальных условиях. Основным нововведением является система сбора данных AutoRT с “Роботизированной конституцией”, основанной на “Трёх законах робототехники” Айзека Азимова. Эта концепция предполагает интеграцию визуальной модели языка (VLM) и большой языковой модели (LLM) для адаптации к незнакомым условиям и определения спектра подходящих задач.
AutoRT управляется с помощью “Роботизированной конституции”, содержащей набор безопасных указаний для LLM, направленных на избегание задач, связанных с людьми, животными, острыми предметами и электроприборами. Для обеспечения дополнительной безопасности DeepMind оснастила роботов функцией автоматической остановки при превышении определённого порога силы на их суставах и ввела физический аварийный выключатель для ручного отключения роботов операторами.
За семь месяцев Google развернула флот из 53 роботов AutoRT в четырёх офисных зданиях, проведя более 77 000 тестов. Некоторые роботы управлялись удалённо человеком, в то время как другие работали по заранее заданному сценарию или полностью автономно с использованием модели искусственного интеллекта Robotic Transformer (RT-2).
Роботы, используемые в испытаниях, обладают утилитарным дизайном и оснащены камерой, роботизированной рукой и мобильной базой. В каждом случае система использует VLM для понимания окружающей среды и объектов, а затем LLM предлагает список творческих задач, например, “положить закуску на столешницу”, и выбирает подходящую задачу для выполнения роботом.
DeepMind также представила SARA-RT, новую архитектуру нейронной сети, призванную улучшить точность и скорость существующей модели Robotic Transformer RT-2, а также RT-Trajectory, добавляющую 2D-контуры для лучшего выполнения роботами специфических физических задач, таких как протирание стола.
Хотя до роботов, способных самостоятельно обслуживать и выполнять бытовые задачи, ещё далеко, их разработка и обучение могут в будущем основываться на системе, подобной AutoRT.