Ученые из Калифорнийского университета в Сан-Франциско и Калифорнийского университета в Беркли создали уникальную систему, которая позволила женщине с тяжелым параличом от инсульта ствола мозга общаться с помощью цифрового аватара. Система синтезирует речь и мимику из сигналов мозга и переводит их в текст со скоростью почти 80 слов в минуту. Результаты исследования были опубликованы23 августа 2023 года в журнале Nature.
Система основана на технологии мозг-компьютерного интерфейса (Brain-Computer Interface, BCI), над которой доктор Эдвард Чанг, председатель кафедры нейрохирургии в UCSF, работал более десяти лет. Он надеется, что в ближайшем будущем эта технология получит одобрение FDA и станет доступной для пациентов, которые потеряли способность говорить из-за инсульта или других причин.
Для того, чтобы система работала, Чанг имплантировал тонкий прямоугольник из 253 электродов на поверхность мозга женщины над областями, ответственными за речь. Электроды перехватывали сигналы мозга, которые контролируют мышцы языка, челюсти, гортани и лица. Далее сигналы передавались по кабелю к компьютерам, которые обрабатывали их с помощью искусственного интеллекта (ИИ).
В течение нескольких недель участница работала с командой по обучению алгоритмов искусственного интеллекта распознавать ее уникальные сигналы мозга для речи – она тренировала систему, повторяя разные фразы из разговорного словаря из 1024 слов.
Вместо того, чтобы обучать ИИ распознавать целые слова, исследователи создали систему, которая декодирует слова из фонем. Используя этот подход, компьютеру нужно было выучить только 39 фонем, чтобы расшифровать любое слово на английском языке. Это повысило точность системы и сделало ее в три раза быстрее.
Для создания голоса женщины использовали алгоритм синтеза речи, подстроенный под звучание ее голоса до инсульта.
Аватар женщины был оживлен благодаря программному обеспечению, которое имитирует движения мышц лица. Основанное на искусственном интеллекте, оно синхронизировалось с мозговыми сигналами женщины, создавая движения губ, языка и мимические выражения. Ученые надеются, что это технологическое достижение сможет вернуть людям способность общаться и взаимодействовать с миром, даже после тяжелых инсультов.
Однако следующим важным шагом будет создание беспроводной версии интерфейса, чтобы пациенты не были физически связаны с устройством.