Подготовлен релиз системы для захвата, хранения и индексации сетевых пакетов Arkime 3.1, предоставляющей инструменты для наглядной оценки потоков трафика и поиска информации, связанной с сетевой активностью. Изначально проект был разработан компанией AOL с целью создания открытой и развёртываемой на своих серверах замены коммерческим платформам обработки сетевых пакетов, способной масштабироваться для обработки трафика на скоростях в десятки гигабит в секунду. Код компонента для захвата трафика написан на языке Си, а интерфейс реализован на Node.js/JavaScript. Исходные тексты распространяется под лицензией Apache 2.0. Поддерживается работа в Linux и FreeBSD. Готовые пакеты подготовлены для Arch, CentOS и Ubuntu.
Arkime включает инструменты для захвата и индексации трафика в штатном формате PCAP, а также предоставляет средства для быстрого доступа к проиндексированным данным. Применение формата PCAP существенно упрощает интеграцию с существующими анализаторами трафика, такими как Wireshark. Объём хранимых данных ограничивается только размером имеющегося дискового массива. Метаданные о сеансах индексируются в кластере на базе движка Elasticsearch.
Для анализа накопленной информации предлагается web-интерфейс, позволяющий выполнять навигацию, поиск и экспорт выборок. В web-интерфейсе предусмотрено несколько режимов просмотра – от общей статистики, карты соединений и наглядных графиков с данными об изменении сетевой активности до инструментов для изучения отдельных сеансов, анализа активности в разрезе используемых протоколов и разбора данных из PCAP-дампов. Также предоставляется API, позволяющий передавать в сторонние приложения данные о захваченных пакетах в формате PCAP и разобранных сеансах в формате JSON.
Arkime состоит из трёх базовых компонентов:
- Система захвата трафика – многопоточное приложение на языке Си для мониторинга трафика, записи дампов в формате PCAP на диск, разбора захваченных пакетов и отправки метаданных о сеансах (SPI, Stateful packet inspection) и протоколах в кластер Elasticsearch. Возможно хранение PCAP-файлов в зашифрованном виде.
- Web-интерфейс на базе платформы Node.js, который запускается на каждом сервере захвата трафика и обрабатывает запросы, связанные с доступом к проиндексированным данным и передачей PCAP-файлов через API.
- Хранилище метаданных на базе Elasticsearch.
- Добавлена поддержка протоколов IETF QUIC, GENEVE, VXLAN-GPE.
- Добавлена поддержка типа Q-in-Q (Double VLAN), позволяющего инкапсулировать теги VLAN в теги второго уровня для расширения числа VLAN-ов до 16 млн.
- Добавлена поддержка типа полей “float”.
- Модуль записи в Amazon Elastic Compute Cloud переведён на использование протокола IMDSv2 (Instance Metadata Service).
- Проведён рефакторинг кода для добавления UDP-туннелей.
- Добавлена поддержка elasticsearchAPIKey и elasticsearchBasicAuth.