Выпуск Frigate 0.14, системы определения объектов на камерах наблюдения

Доступен выпуск проекта Frigate 0.14, предоставляющего средства для создания сетевых видеорегистраторов (NVR, Network Video Recorder) в реальном режиме времени анализирующих видео, передаваемое с IP-камер видеонаблюдения, а также выявляющих и фиксирующих изменения и объекты. Например, система может сохранять изображений людей, проходивших мимо камеры. Для выявления объектов используется модель машинного обучения, выполняемая на локальной системе без обращения к внешним сервисам. Код платформы написан на языке Python и распространяется под лицензией MIT.

Для обработки передаваемых с камеры изображений и определения объектов используются OpenCV и Tensorflow. Система оптимизирована для минимального потребления ресурсов и использует многопроцессную модель запуска моделей. Для снижения нагрузки определение объектов выполняется только в привязке к определению изменений и движения. Возможна интеграция с различными системами домашней автоматизации, поддерживающими протокол MQTT (Message Queuing Telemetry Transport), такими как Home Assistant и OpenHab. Управление производится через web-интерфейс, который может быть интегрирован непосредственно в интерфейс Home Assistant.


Из особенностей упоминается низкий уровень ложных срабатываний, возможность раздельного определения объектов (люди, машины), поддержка опционального задействования устройств Google Coral TPU для ускорения обработки видео в режиме реального времени (Frigate может обрабатывать более 100 операций определения объектов в секунду), возможность определения зон срабатывания и точного времени вторжения, гибкая система отправки оповещений. Система также поддерживает ретрансляцию видео и просмотр в Live-режиме при помощи WebRTC и RTSP, что позволяет снизить число подключений к камере.





Новый выпуск примечателен добавлением нового полностью переписанного интерфейса пользователя, который оптимизирован для настольных и мобильных систем. Интерфейс позволяет быстро оценить состояние в данный момент или недавно произошедшие события, получить live-доступ к изображению камер, оценить сводное состояние камер и наглядно посмотреть историю событий в виде анимированных миниатюр. Добавлена поддержка аутентификации, определения ролей доступа (администратор, пользователь) и подключения с использованием прокси, таких как authelia, authentik и oauth2_proxy.

Улучшен интерфейс для пересмотра записанного видео, в котором теперь можно быстро переключаться между моментами, на которых зафиксировано движение и выявлены объекты. Выявленные события разделены на категории важности и типы объектов, добавлена возможность фильтрации на основе приоритетов (например, ситуация пересечения человеком границы собственности имеет более высокий приоритет, чем определение рядом гуляющего человека). Реализована возможность разделения камер на группы.

Release. Ссылка here.