Опубликован релиз системы для захвата, хранения и индексации сетевых пакетов Arkime 5.0, предоставляющей инструменты для наглядной оценки потоков трафика и поиска информации, связанной с сетевой активностью. Изначально проект был разработан компанией AOL с целью создания открытой замены коммерческим платформам обработки сетевых пакетов, поддерживающей развёртывание на своих серверах и способной масштабироваться для обработки трафика на скоростях в десятки гигабит в секунду. Код компонента для захвата трафика написан на языке Си, а интерфейс реализован на Node.js/JavaScript. Исходные тексты распространяется под лицензией Apache 2.0. Поддерживается работа в Linux и FreeBSD. Готовые пакеты подготовлены для Arch Linux, RHEL/CentOS и Ubuntu.
Arkime включает инструменты для захвата и индексации трафика в формате PCAP, а также предоставляет средства для быстрого доступа к проиндексированным данным. Применение типового формата PCAP существенно упрощает интеграцию с существующими анализаторами трафика, такими как Wireshark. Объём хранимых данных ограничивается только размером имеющегося дискового массива. Метаданные о сеансах индексируются в кластере на базе движка Elasticsearch или OpenSearch. Компонент для захвата трафика работает в многопоточном режиме и решает задачи мониторинга, записи PCAP-дампов на диск, разбора захваченных пакетов и отправки метаданных о сеансах (SPI, Stateful packet inspection) и протоколах в кластер Elasticsearch/OpenSearch. Возможно хранение PCAP-файлов в зашифрованном виде.
Для анализа накопленной информации предлагается web-интерфейс, позволяющий выполнять навигацию, поиск и экспорт выборок. В web-интерфейсе предусмотрено несколько режимов просмотра – от общей статистики, карты соединений и наглядных графиков с данными об изменении сетевой активности до инструментов для изучения отдельных сеансов, анализа активности в разрезе используемых протоколов и разбора данных из PCAP-дампов. Также предоставляется API, позволяющий передавать в сторонние приложения данные о захваченных пакетах в формате PCAP и разобранных сеансах в формате JSON.
В новой версии:
- Добавлена возможность отправки комбинированных поисковых запросов информации через сервис Cont3xt для сбора доступной в различных открытых источниках (OSINT) информации одновременно о нескольких объектах.
- Добавлена поддержка методов формирования отпечатков трафика JA4 и JA4+ для определения сетевых протоколов и приложений.
- Изменено оформление блока с детальной информацией о сеансе, в котором минимизировано неиспользуемое пространство и реализована двухколоночная компоновка для больших экранов.
- Во вкладки Files, History и Stats добавлены выпадающие блоки для поиска одновременно в нескольких экземплярах интерфейса для просмотра статистики (Viewer).
- Система авторизации унифицирована и выделена в отдельный модуль, который теперь используется во всех приложениях Arkime. Вместо анонимного режима авторизации по умолчанию задействован метод digest.
Добавлены новые режимы авторизации: basic, form, basic+form, basic+oidc, headerOnly, header+digest и header+basic. - Все приложения переведены на унифицированную подсистему конфигурации, поддерживающую обработку настроек в разных форматах (ini, json, yaml) и способную загружать настройки из разных источников, например, c диска, по сети через HTTPS или из OpenSearch/Elasticsearch.
- Добавлена поддержка импорта сохранённых (offline) PCAP-дампов с их загрузкой по URL через HTTPS или из хранилища Amazon S3, без необходимости предварительного сохранения на локальной системе.
