Исследовательская группа под руководством профессора Зубина Джейкоба из университета Пердью разработалареволюционную технологию машинного зрения HADAR (тепловое обнаружение и определение дальности). Она позволяет роботам распознавать текстуру и глубину даже в полной темноте.
Как отмечают авторы научной статьи, опубликованной в журнале Nature, к 2030 году каждый десятый автомобиль будет автономным, а 20 миллионов роботов станут нашими помощниками в бытовых делах и рабочих задачах. Эффективность таких систем напрямую зависит от качества компьютерного зрения.
Традиционные технологии, вроде лидаров или радаров, с трудом справляются с условиями плохого освещения. Обычные видеокамеры вовсе “слепнут” в темноте. А тепловизоры, хоть и видят ночью, дают размытые бестекстурные изображения.
HADAR решает эти проблемы, сочетая в себе достижения информационной теории, тепловой физики и машинного обучения. Механизм позволяет извлекать из теплового излучения максимум данных, восстанавливать резкость и текстуру объектов.
Полное отсутствие света несет не меньше информации, чем световой день. Ключевым элементом стала многоспектральная инфракрасная камера. Она фиксирует изображение сразу в нескольких диапазонах ИК-излучения.
Это позволяет “разложить” тепловой сигнал на составляющие – температуру, излучательную способность и текстуру. А затем применить алгоритмы машинного обучения для восстановления картинки даже по зашумленному сигналу.
Ученые протестировали технологию в ночных условиях на природе.
HADAR сумел распознать тончайшие детали, недоступные человеческому глазу – рябь на воде, морщины коры деревьев, травянистые структуры. При этом качество изображения было как днём. Датчик работал в разных погодных условиях – в тумане, дожде, при контровом освещении.
Разработка открывает новые перспективы как для проектирования автомобилей будущего, так и для робототехники – систем навигации и распознавания образов. Его можно применять в сельском хозяйстве, чтобы мониторить состояния посевов ночью. В медицине технология позволит расширить возможности тепловидения.
HADAR хорошо подходит для систем безопасности и видеонаблюдения. Потенциал применения в военной сфере также очевиден. Не говоря уже о разработке нового поколения инструментов ночного видения для потребительского рынка.
Конечно, предстоит решить еще много вопросов. Например – как сделать систему миниатюрнее?
“Нынешний датчик большой и тяжелый, поскольку алгоритмы HADAR требуют многих цветов невидимого инфракрасного излучения, – говорит Бао, еще один разработчик. – Чтобы применить его к беспилотным автомобилям и роботам, нам нужно уменьшить размер и цену, а также ускорить сами камеры. Сейчас датчики создают по одному изображению примерно за секунду, но для автономных автомобилей нам нужна частота кадров около 30-60 Гц”.
Однако исследователи уверены, что в будущем HADAR станет компактным и эффективным решением – просто нужно время.