В новом исследовании , представленном группой учёных под руководством Google, была рассмотрена возможность использования записей звука кашля для мониторинга состояния здоровья и диагностики заболеваний с помощью глубокого машинного обучения.
Исследование основано на обработке звуковых сигналов, таких как дыхание и различные виды кашля. Команда разработала систему под названием Health Acoustic Representations (HeAR), обученную на обширном наборе данных из 313 миллионов аудиоклипов длительностью по две секунды.
Эта система, которая использует самообучаемые маскирующие автоэнкодеры, демонстрирует впечатляющую способность адаптации и способна выявлять заболевания, такие как COVID-19 и даже туберкулёз, а также определять, курит ли человек.
Система HeAR показала обнадёживающие результаты, достигая показателей точности 0.645 и 0.710 при обнаружении COVID-19 в зависимости от используемого набора данных, где оценка 0.5 обозначает случайное угадывание, а 1 – идеальную точность. Для выявления туберкулеза модель продемонстрировала результат ещё лучше – 0.739.
Разработчики системы HeAR использовали общедоступные видео на YouTube для извлечения более 300 миллионов коротких звуковых клипов, каждый из которых затем преобразовывался в визуальное представление звука – спектрограмму. Это позволило модели учиться прогнозировать отсутствующие части данных, повышая свою адаптивность.
В настоящий момент авторы исследования активно работают над разработкой мобильного приложения AI4COVID-19, которое уже показало многообещающие результаты в точном определении кашля, вызванного коронавирусом.
Исследователи пытаются привлечь финансирование для проведения клинических испытаний с целью получения одобрения от Управления по контролю за продуктами и лекарствами США (FDA), что позволит им вывести приложение на рынок. В настоящее время пока не существует инструментов, одобренных FDA для диагностики заболеваний по аудиозаписи.
Это исследование открывает новые перспективы для развития областей здравоохранения, связанных, например, с телемедициной или самолечением, предлагая инновационные подходы и расширяя границы применения искусственного интеллекта.