Разработчики SberDevices провели тестирование собственной текстовой модели. По итогам испытаний языковая модель ruRoBERTa уступает лишь человеку, сообщили “Ленте.ру” в компании.
Оценка модели производилась с использованием бенчмарка Russian SuperGLUE, который проверяет языковые данные ИИ на логику, здравый смысл, целеполагание и понимание смысла текста, созданный на основе англоязычной методологии GLUE и SuperGlue (General Language Understanding Evaluation — оценка общего понимания языка). По словам разработчиков, этим тестом пользуются все разработчики русскоязычных нейросетей.
За основу ruRoBERTa была взята другая модель Сбера ruBERT. Обучение проходило на большом количестве русскоязычного текста с использованием суперкомпьютера “Кристофари” и заняло три недели. Итоговый набор данных занял 250 гигабайт. По результатам тестов модель ruRoBERTa признана лучшей в мире по распознаванию русского языка и не только запоминает задания, но и освоила разнообразие феноменов языка.
“Наша конечная цель – создание надежных интеллектуальных систем для решения разноплановых задач на русском языке, которые могут стать предшественниками сильного искусственного интеллекта отечественной сборки”, – прокомментировал исполнительный вице-президент Сбера Давид Рафаловский