Международная команда исследователей выявила серьезные проблемы в работе программ, предназначенных для распознавания дипфейков. Тестирование 16 самых популярных детекторов, проведенное научным агентством CSIRO и университетом Сонгюнкван, показало: ни один из них не способен надежно выявлять синтетический контент в реальных условиях. Результаты работы уже опубликованы на платформе arXiv.
Современные алгоритмы генеративного искусственного интеллекта создают настолько реалистичные фальшивки, что отличить их от оригинала практически невозможно. Дипфейки всё чаще используются для манипуляции общественным мнением, мошенничества, клеветы, кражи денег и личных данных…
Специалист по кибербезопасности из CSIRO доктор Шариф Абуадбба подтверждает: “Дипфейки становятся все более убедительными, с их помощью очень легко ввести общественность в заблуждение, поэтому нам срочно нужны более гибкие и устойчивые методы их обнаружения. Важно сместить фокус с анализа внешних признаков на изучение смысла и контекста материалов. Мы разобрали существующие алгоритмы на базовые составляющие и тщательно проверили их на реальных примерах – это поможет разработать более эффективные инструменты защиты”.
Ученые создали пятиступенчатую методику оценки детекторов поддельного контента. Она анализирует тип синтетических материалов, способы их распознавания, подготовку данных, принципы настройки искусственного интеллекта и методы проверки результатов. В результате удалось определить 18 ключевых параметров, влияющих на точность работы систем безопасности.
Тестирование выявило существенный недостаток: автоматические анализаторы плохо справляются с контентом, не похожим на материалы из обучающей выборки. Характерный пример – программа ICT (Identity Consistent Transformer): она успешно находит дипфейки с изображениями знаменитостей, но часто ошибается при проверке фотографий обычных людей.
Чтобы преодолеть ограничения, специалисты предлагают принципиально новый подход. Вместо использования одного детектора рекомендуется задействовать сразу несколько инструментов, каждый из которых специализируется на определенном типе контента. Комплексный метод позволяет существенно повысить надежность сканирования. В настоящее время разрабатываются многофункциональные системы, способные одновременно анализировать различные характеристики материала – качество звука, особенности текста, визуальные элементы и технические данные файлов.
Более того, чтобы успевать за развитием технологий создания фальшивого контента, алгоритмы распознавания необходимо тренировать на максимально разноплановых материалах. Включать в тренировочные наборы стоит не только реальные фотографии, видео и аудиозаписи, но и искусственно созданные примеры дипфейков. Также важно дополнить алгоритмы распознавания функцией контекстного анализа, чтобы компьютер просмотрел не только сам файл, но и связанные с ним метаданные, следы редактирования, источник публикации и другие окружающие факторы. Так выявить подозрительные материалы можно даже даже в тех случаях, когда визуальных или звуковых признаков недостаточно для однозначного вывода.