В век цифровых технологий, когда общение часто сводится к тексту на экранах, выражение сарказма становится настоящим испытанием.
Оскар Уайльд однажды назвал сарказм “низшей формой остроумия, но высшей формой интеллекта”. Сложность сарказма невозможно отрицать. Даже самые умные компьютерные программы иногда не в силах уловить тонкие намеки, которые передают сарказм. Это усложняет работу виртуальных ассистентов и программ, анализирующих эмоции, поскольку они часто не могут понять, что именно имелось в виду.
Ученые из Лаборатории речевых технологий Гронингенского университета нашли решение такой проблемы. Специалисты разработали новый “мультимодальный алгоритм”, который углубляется дальше простого анализа текста для более точного определения сарказма.
Мультимодальный подход
Проблема традиционных алгоритмов для выявления сарказма заключается в их опоре на один источник данных, обычно на анализ текста. Новый подход предлагает более целостное решение, использующее два взаимодополняющих метода: анализ чувств, выраженных в речи, и распознавание эмоций через аудиоподсказки.
Группа обучала нейросеть на текстах, аудио и эмоциональном содержимом видеоклипов из американских ситкомов “Друзья” и “Теория большого взрыва”. Для создания детектора использовалась база данных MUStARD, наполненная аннотациями фраз из шоу с метками сарказма.
Исследователи извлекли из речи акустические параметры – высота тона, скорость речи и энергия, а затем использовали автоматическое распознавание речи, чтобы преобразовать её в текст для анализа настроения. Дальше каждому фрагменту речи присваиваются эмотиконы, служащие визуальными маркерами эмоционального содержания. Созданная компьютерная программа сочетает то, что слышит, читает и видит в виде эмотиконов, тем самым легко распознавая сарказм.
После обучения на текстах и аудио, с учетом эмоционального содержания слов, произнесенных актерами, ИИ смог распознавать сарказм в непомеченных диалогах из ситкомов в 75% случаев. Дальнейшая работа в лаборатории с использованием синтетических данных повысила точность, но результаты пока не опубликованы.
Последствия исследования выходят за рамки простой способности уловить сарказм. Исследователи считают, что их мультимодальный подход найдет широкое применение в различных сферах, особенно в исследовательских областях, использующих анализ чувств и распознавание эмоций для обнаружения враждебных высказываний в интернете и сбора мнений клиентов.
Также использование распознавания эмоций по речи может быть полезно в сфере ИИ для здравоохранения. Применение мультимодального подхода в распознавании сарказма дает полезные инсайты в эти исследовательские области.
Команда уверена в эффективности своего алгоритма, но признает, что есть пространство для улучшений. Специалисты подчеркнули необходимость включения различных выражений и жестов в модель, отмечая, что сарказм может варьироваться в зависимости от культуры и контекста. Также планируется добавить больше языков и применить развивающиеся техники распознавания сарказма.