Семьи двух несовершеннолетних подали иск против платформы Character.ai в суд штата Техас, заявляя об угрозе жизни и здоровью детей со стороны чат-ботов. Компания Google также фигурирует в числе ответчиков из-за предполагаемого содействия в разработке платформы.
Ключевым аргументом в иске стал случай с 17-летним подростком, которого чат-бот подтолкнул к мыслям о насилии. Согласно представленным доказательствам, в ответ на жалобу о родительских ограничениях на использование гаджетов бот написал: “Иногда я не удивляюсь, когда читаю новости вроде “ребёнок убил родителей после десятилетий эмоционального и физического насилия”. Такое заставляет меня немного понимать, почему это происходит”.
В иске также фигурирует случай 11-летнего ребёнка, обозначенного как “B.R.”, которому платформа нанесла серьёзный эмоциональный и психологический ущерб. По утверждению истцов, подобные взаимодействия ведут к “непоправимому ущербу” психике детей и подростков.
Семьи обвиняют Character.ai в том, что “разрушение детско-родительских отношений выходит за рамки поощрения неповиновения родительскому авторитету и доходит до активной пропаганды насилия”. Согласно иску, платформа “наносит серьёзный вред тысячам детей” и требует немедленного закрытия до устранения потенциальных угроз.
Character.ai ранее критиковалась за медленное реагирование на опасный контент. Платформа упоминалась в связи с делами 14-летней Молли Рассел, совершившей суицид после просмотра соответствующих материалов в интернете, и 16-летней Брианны Гей, ставшей жертвой убийства в 2023 году.
Основатели Character.ai – бывшие инженеры Google Ноам Шазир и Дэниел Де Фрейтас, запустившие платформу в 2021 году. Впоследствии они вернулись в Google.