Специалисты из исследовательской лаборатории Google DeepMind разработали революционный метод обучения маленьких роботов-футболистовс использованием передовых технологий. Подробности их экспериментов были представлены в научном журнале Science Robotics.
По мере распространения продвинутых ИИ-моделей инженеры-программисты находят для них все более неожиданные сферы применения. Одной из давно волнующих ученых и общественность идей является создание автономных роботов, способных выполнять сложные, трудоемкие задачи, традиционно считающиеся прерогативой человека.
Британская исследовательская группа решила обратиться к методам подкрепляющего машинного обучения. Процесс включал в себя тренировку двух основных навыков в компьютерных симуляциях на физическом движке MuJoCo: умение подниматься после падения и забивание голов. Затем систему научили вести полноценные матчи один на один, задействовав для этого огромные массивы видеоданных и другой информации.
Когда виртуальные игроки освоили необходимые умения, исследователи перенесли алгоритм на несколько реальных роботов Robotis OP3Б , с 20-приводными суставами и 51 см ростом. Также была внедрена дополнительная программная часть, позволяющая им совершенствовать свои способности как в отработке индивидуальных элементов, так и в ходе матчей друг против друга на миниатюрном футбольном поле.
Чтобы преодолеть различия между поведением роботов в виртуальной среде и в реальном мире – что в Google DeepMind назвали “серьезной проблемой” – разработчики специально вносили в компьютерную модель различные помехи и случайные факторы.
Наблюдая за действиями мини-спортсменов, специалисты отметили, что многие их движения выглядят гораздо более плавными и естественными в сравнении с разработками, которые были обучены стандартным методом.
“Наши игроки передвигаются, разворачиваются, бьют по мячу и быстро поднимаются после падений значительно быстрее тех, что были запрограммированы вручную. Они также демонстрируют базовое понимание игры один на один: комбинируют различные движения, чтобы забивать голы, предугадывать траекторию мяча и блокировать удары соперника “, – комментируют в DeepMind.
Компания гордится своей разработкой, но отмечает, что этот шаг – всего лишь маленькая часть глобальной стратегии по внедрению автономных роботов в нашу повседневную жизнь.