В рамках прошедшей конференции Google I/O был представлен инновационный ИИ-помощник Project Astra, способный взаимодействовать с пользователем в реальном времени через камеру смартфона. По словам генерального директора Google DeepMind Демиса Хассабиса, компания намерена создать искусственный интеллект, который станет незаменимым помощником в ежедневной жизни.
Project Astra основан на мощной мультимодальной модели Google Gemini. Это приложение для камеры смартфона, которое не только анализирует визуальную информацию, но и может вести диалог с пользователем.
В ходе демонстрации были показаны уникальные возможности Project Astra: приложение смогло идентифицировать музыкальную колонку, увиденную камерой смартфона, и даже назвать отдельную ее деталь после того, как пользователь нарисовал на экране стрелку с указателем. Так, ИИ-ассистент определил высокочастотный динамик в колонке и рассказал о его назначении. Также Project Astra распознал город по панораме из окна и рассказал о его достопримечательностях.
Демис Хассабис также отметил, что в будущем Project Astra будет доступен не только на смартфонах, но и на умных очках. На данный момент проект находится в стадии разработки, и дата его официального релиза пока не объявлена.
Ранее OpenAI представила ИИ GPT-4o.