Ранее мы писали , что ChatGPT успешно сдал экзамен по курсу MBA “Управление операциями”, которые обычно сдают студенты бизнес-колледжей. На этот раз группа исследователей заставила популярного чат-бота сдать те же медицинские экзамены, что и начинающие врачи в медицинских вузах США. По их словам, бот справился очень неплохо.
ChatGPT, чат-бот с искусственным интеллектом от OpenAI, продемонстрировал “удивительный и впечатляющий” результат во всех трех тестах, которые являются частью экзамена на получение медицинской лицензии в США. “ChatGPT сдал все три экзамена на уровне проходного порога без какой-либо специальной подготовки”, – говорится в исследовательской статье, опубликованной на сайте ” data-html=”true” data-original-title=”medRxiv” >medRxiv.
Первая часть экзамена на получение медицинской лицензии сдается после двух лет обучения в медицинской школе, и для ее сдачи студенты должны посвятить обучению около 400 часов. Студенты-медики четвертого курса сдают вторую часть экзамена, а врачи с последипломным медицинским образованием до одного года – третью. Понятно, что в эксперименте принимала участие нейросеть, но результат всё равно впечатляющий.
Бот продемонстрировал “умеренную точность” и “высокую внутреннюю согласованность”, заявили исследователи. Они также отметили, что производительность искусственного интеллекта, вероятно, будет улучшаться по мере дальнейшего развития языковых моделей.
Чат-бот продемонстрировал низкую точность только в первой части экзамена, которую реальные студенты-медики считают самой сложной. “Этот результат выявляет ключевую уязвимость в предварительно обученных больших языковых моделях: возможности ИИ становятся связанными с человеческими”, – говорится в документе.
Учитывая во внимание восприимчивость ИИ к дезинформации, можно сказать, что до полноценного врача ему ещё далеко. Но его можно применять в качестве инструмента для оценки рисков, анализа данных или обучения среди других потенциальных применений. “ChatGPT обладает частичной способностью преподавать медицину, выявляя новые и неочевидные концепции, которые могут быть недоступны для учащихся”, – говорится в исследовании.