Несмотря на впечатляющие успехи, крупные языковые модели вроде ChatGPT все еще склонны к ошибкам — и пугающе уверенно выдают как верные, так и заведомо ложные ответы. Проблема — в неопределенности, с которой такие модели работают. Однако швейцарские исследователи нашли способ эту неопределенность уменьшить, и разработали метод, который позволяет “подпитать” ИИ дополнительными, релевантными данными, чтобы ответы стали более точными. Препринт работы опубликован на портале arxiv.
Алгоритм выбирает те данные, которые наиболее дополняют вопрос, а не просто повторяют уже известную информацию. Это достигается путем анализа векторов смысловой связи между словами в многомерном пространстве. Чем ближе направление векторов — тем выше их корреляция. Но, в отличие от классического подхода “ближайшего соседа”, SIFT выбирает разные, но взаимодополняющие сведения.
Пример: при ответе на вопрос “Сколько лет Роджеру Федереру и сколько у него детей?” традиционный ИИ может “застрять” на дате рождения, игнорируя информацию о детях. А SIFT находит и возраст, и семейную информацию, дополняя один аспект другим.
Новшество работает не только на качество: меньше избыточной информации — меньше нагрузка на систему. SIFT позволяет адаптировать объем вычислений под сложность вопроса, а значит, создавать надежные модели с меньшими ресурсами. В тестах исследователи достигли производительности, превосходящей лучшие ИИ, при этом их модель была в 40 раз меньше.
Исследователи подчеркивают: SIFT может быть полезен и для анализа данных, например, чтобы определить, какие лабораторные показатели важны для диагностики, а какие — второстепенны. Это открывает путь к новым приложениям в медицине, науке и бизнесе.
Ранее ученые рассказали, сможем ли мы найти свидетельства существования инопланетной жизни.