Ученые из лаборатории исследований искусственного интеллекта (ИИ) T-Bank AI Research создали нейросеть ReBased, способную ускорить обработку длинных текстов и сократить расходы на использование ИИ без потери качества, сообщает Т-Банк.
По заявлениям ученых, разработка позволит шире применять языковые модели в бизнесе.
Также открытие поможет компаниям уменьшить негативное влияние на окружающую среду и сократить выбросы парниковых газов за счет снижения потребления энергии.
Нейросеть ReBased представляет собой новую архитектуру языковых моделей. Ученые отмечают, что выбор подходящей архитектуры, как и в проекте здания, важен для эффективности и точности работы модели.
За основу ученые из T-Bank Research взяли модель Based, представленную в Стэнфорде в декабре 2023 года. Специалисты оптимизировали механизм извлечения информации из текста и добавили новые обучаемые параметры, отвечающие за оптимальный поиск взаимосвязей в тексте.
Также ученые упростили алгоритм выделения текстовой информации, увеличив производительность. В среднем понимание взаимосвязей у ReBased улучшилось на 10%.
В ходе тестов ученые экспериментировали на датасете MQAR (Multi-Query Associative Recall), который позволяет определять способность модели к контекстуальному обучению (ассоциативному запоминанию).
Как отметил исследователь обработки естественного языка в T-Bank Research Ярослав Аксенов, одновременно с открытием российских специалистов исследователи из Стэнфорда выпустили исследование на ту же тему, но с другим подходом к решению.
“Сейчас это одна из наиболее интересных областей исследований в NLP по всему миру: языковые модели “Трансформер” слишком медленные, но линейные модели уступают им по качеству”, — рассказал он.
Результаты исследования были признаны мировым научным сообществом и представлены на 63-й Международной ежегодной конференции по компьютерной лингвистике (ACL), которая проходит в Бангкоке с 11 по 16 августа 2024 года. Это главная научная конференция в области обработки естественного языка в мире.
Научную работу цитировали одни из самых известных исследователей эффективности искусственного интеллекта в мире, представляющие Принстонский университет и Университет Карнеги — Меллона.