Учёные из Иллинойсского университета в Урбане-Шампейне недавно опубликовали исследование, в котором доказали, что модель искусственного интеллекта GPT-4 от OpenAI способна самостоятельно эксплуатировать уязвимости в реальных системах после того, как получит их подробное описание.
В рамках исследования было отобрано 15 уязвимостей, описанных как критические. Результаты показали, что языковая модель GPT-4 смогла использовать 87% этих уязвимостей, в то время как другие модели с задачей справиться не смогли.
Даниэль Канг, один из авторов работы, утверждает, что использование LLM может значительно упростить процесс эксплуатации уязвимостей для злоумышленников. По его словам, системы, основанные на искусственном интеллекте, будут куда более эффективными, чем доступные сегодня инструменты для начинающих хакеров.
Учёные также обсуждают стоимость атак, использующих LLM. Они утверждают, что затраты на успешную эксплуатацию уязвимости с помощью агента на базе LLM обойдутся в разы дешевле, чем услуги профессионального пентестера.
В исследовании отмечается, что модель GPT-4 не смогла эксплуатировать только 2 из 15 уязвимостей, и то, лишь потому, что в одном случае модель испытала трудности в навигации по веб-приложению, а в другом сама уязвимость была описана на китайском языке, что и сбило LLM с толку.
Канг подчёркивает, что даже гипотетическое ограничение доступа модели к информации о безопасности будет неэффективным средством защиты от атак на базе LLM. Исследователь призывает компании к активным мерам обеспечения своей защиты, таким как регулярное обновление программного обеспечения.
Представители OpenAI пока никак не прокомментировали результаты данного исследования.
Работа исследователей основана на их предыдущих выводах о том, что LLM вполне могут использоваться для автоматизации атак на веб-сайты в изолированной среде.