Чат-бот Tess службы доверия привёл к развитию психического расстройства у пациента

Национальная ассоциация по расстройствам питания (NEDA) заблокировала своего чат-бота Tessa за то, что он давал людям вредные советы.

Активистка по борьбе с ожирением и консультант по вопросам лишнего веса, Шэрон Максвелл сказала, что совет Тессы по безопасному выздоровлению от расстройства пищевого поведения (РПП) прямо противоречит медицинским рекомендациям.

Бот американской некоммерческой организации порекомендовал Максвелл считать калории, еженедельно взвешиваться и даже подсказал, где купить штангенциркуль для измерения жира. По данным NEDA, безопасное выздоровление – это многоэтапный процесс, который включает в себя много аспектов лечения и различные терапии, а не просто счёт калорий.

“Все, что предложила Тесса, привело к развитию у меня расстройства пищевого поведения. Этот робот причиняет вред”, – заявила Максвелл.

Ранее представитель организации сообщал, что Тесса была протестирована на 700 добровольцах с ноября 2021 года и свыше половины из них дали чат-боту оценку полезности в 100%. Однако, что-то пошло не так.

NEDA подтвердила , что отключила Tessa и расследовала советы чат-бота. Организация заявила, что текущая версия чат-бота Tessa, на которой запущена программа Body Positive, могла давать информацию, которая была вредной и не имела отношения к программе.

Стоит отметить, что робот Tessa появился из-за того, что NEDA решила заменить работников психологической горячей линии чат-ботом . Это произошло ровно через 4 дня после того, как часть сотрудников объединились в профсоюз для требования улучшений условий труда.

Горячая линия NEDA существовала в течение 20 лет и оказывала поддержку сотням тысяч людей по телефону, чату и текстовым сообщениям. Сотрудники NEDA рассказали, что они чувствовали себя перегруженными из-за нехватки операторов. Вся линия держалась буквально на шести сотрудниках, которые принимали звонки и сообщения со всех американских штатов. Когда сотрудники попросили у администрации NEDA набрать новых людей, а также улучшить свои собственные условия труда, их требования были проигнорированы. Именно поэтому ими было решено организовать профсоюз.

Public Release.