Google DeepMind разработала ИИ-систему SAFE, предназначенную для фактчекинга результатов больших языковых моделей.
LLM-модели, подобные ” data-html=”true” data-original-title=”ChatGPT” >ChatGPT, за последние пару лет научились писать научные работы, отвечать на вопросы и даже решать математические задачи. Однако основной проблемой таких систем является точность: каждый результат модели требует ручной проверки на корректность, что значительно снижает их ценность.
В новом проекте исследователи DeepMind создали ИИ-приложение, которое автоматически проверяет правильность ответов LLM и выявляет неточности.
Основной метод фактчекинга результатов LLM заключается в поиске подтверждающих источников в Google. Команда DeepMind применила аналогичный подход: специалисты разработали LLM-модель, которая анализирует утверждения в ответах ИИ, а затем ищет в Google сайты, которые могут быть использованы для верификации, после чего сравнивает два ответа для определения точности. Новая система получила название Search-Augmented Factuality Evaluator (SAFE).
В ходе тестирования системы исследовательская группа проверила примерно 16 000 фактов из ответов нескольких LLM, в том числе ChatGPT, Gemini, PaLM. Результаты сравнивались с выводами людей, занимающихся фактчекингом. Выяснилось, что SAFE совпала с находками людей в 72% случаев. При анализе разногласий между SAFE и людьми исследователи обнаружили, что в 76% случаев права оказывалась система SAFE.
Команда DeepMind опубликовала кодSAFE в GitHub, предоставив возможность использовать систему всем желающим для повышения точности и надёжности ответов LLM-моделей.