Microsoft представила нейросеть Kosmos-1, которая объединяет различные режимы ввода – текст, аудио, изображения и видео, – и станет основой для создания универсального искусственного интеллекта. Исследователи назвали систему “мультимодальной моделью большого языка” (MLLM). Мультимодальная модель способна:
- анализировать изображения;
- решать визуальные головоломки;
- распознавать текст;
- проходить визуальные тесты на IQ с точностью 22-26%;
- понимать инструкции на естественном языке.
1-2 – визуальное объяснение, 3-4 – ответ на вопрос, 5 – ответ на вопрос веб-страницы, 6 – простое математическое уравнение, 7-8 – распознавание цифр
Microsoft обучила Kosmos-1 по данным из Интернета, в том числе выдержки из The Pile (текстовый ресурс на английском языке объемом 800 ГБ) и веб-архива Common Crawl.
После обучения исследователи оценили способности Kosmos-1 в нескольких тестах, а именно:
понимание языка;
генерация текста;
классификация текста без оптического распознавания символов;
генерация подписей к изображениям;
визуальные ответы на вопросы;
ответы на вопросы веб-страниц;
классификация изображений.
Отмечается, что во многих из этих тестов Kosmos-1 превзошел современные модели.
Kosmos-1 также смогла правильно ответить на вопрос теста Raven только в 22% случаев (при более тонкой настройке – в 26% случаев).
1-2 – подписи к изображениям, 3-6 – ответы на визуальные запросы, 7-8 – распознавание текста на картинке, 9-11 – поддержание диалога.
Исследователи планируют увеличить размер модели, а также интегрировать голосовые возможности. Кроме того, Kosmos-1 скоро будет открыта для разработчиков.