Инженеры из Массачусетского технологического института научили нейросеть вычислять происходящее в комнате по теням на стене. Об этом специалисты рассказали в презентации, опубликованной на сайте института.
Для работы алгоритма не нужен источник света, отбрасывающий четкие тени. Как правило, при нахождении в комнате люди в любом случае будут отбрасывать хоть какую-то тень, или менять картину освещения. Яркая одежда, например, окрасит стены вокруг, но человеческий глаз редко это замечает, так как его отвлекает свет от основного источника (лампы или Солнца).
“Если бы мы могли вычесть этот основной свет из окружающей сцены, тогда на кадре у вас бы остался только шум камеры и сигналы от предметов в комнате”, – говорит Прафул Шарма, руководитель исследования.
Новая нейросеть с помощью видеокамеры анализирует незаметные глазу изменения непрямого освещения стены, и определяет, что происходит в невидимой части, за кадром. Этого добились с помощью машинного обучения: базой данных послужили 20 различных комнат. На основе этой базы данных алгоритм смог с 94-процентной точностью различать одного или двух двигающихся людей, в том числе в незнакомой обстановке, в новой комнате с другим светом.
Кроме этого, программа может узнать некоторые действия: прыжки, хождение по кругу и взмахи руками.