Доступна система индексации сетевого трафика Arkime 3.1

Подготовлен релиз системы для захвата, хранения и индексации сетевых пакетов Arkime 3.1, предоставляющей инструменты для наглядной оценки потоков трафика и поиска информации, связанной с сетевой активностью. Изначально проект был разработан компанией AOL с целью создания открытой и развёртываемой на своих серверах замены коммерческим платформам обработки сетевых пакетов, способной масштабироваться для обработки трафика на скоростях в десятки гигабит в секунду. Код компонента для захвата трафика написан на языке Си, а интерфейс реализован на Node.js/JavaScript. Исходные тексты распространяется под лицензией Apache 2.0. Поддерживается работа в Linux и FreeBSD. Готовые пакеты подготовлены для Arch, CentOS и Ubuntu.

Arkime включает инструменты для захвата и индексации трафика в штатном формате PCAP, а также предоставляет средства для быстрого доступа к проиндексированным данным. Применение формата PCAP существенно упрощает интеграцию с существующими анализаторами трафика, такими как Wireshark. Объём хранимых данных ограничивается только размером имеющегося дискового массива. Метаданные о сеансах индексируются в кластере на базе движка Elasticsearch.

Для анализа накопленной информации предлагается web-интерфейс, позволяющий выполнять навигацию, поиск и экспорт выборок. В web-интерфейсе предусмотрено несколько режимов просмотра – от общей статистики, карты соединений и наглядных графиков с данными об изменении сетевой активности до инструментов для изучения отдельных сеансов, анализа активности в разрезе используемых протоколов и разбора данных из PCAP-дампов. Также предоставляется API, позволяющий передавать в сторонние приложения данные о захваченных пакетах в формате PCAP и разобранных сеансах в формате JSON.


Arkime состоит из трёх базовых компонентов:

  • Система захвата трафика – многопоточное приложение на языке Си для мониторинга трафика, записи дампов в формате PCAP на диск, разбора захваченных пакетов и отправки метаданных о сеансах (SPI, Stateful packet inspection) и протоколах в кластер Elasticsearch. Возможно хранение PCAP-файлов в зашифрованном виде.
  • Web-интерфейс на базе платформы Node.js, который запускается на каждом сервере захвата трафика и обрабатывает запросы, связанные с доступом к проиндексированным данным и передачей PCAP-файлов через API.
  • Хранилище метаданных на базе Elasticsearch.


В новом выпуске:

  • Добавлена поддержка протоколов IETF QUIC, GENEVE, VXLAN-GPE.
  • Добавлена поддержка типа Q-in-Q (Double VLAN), позволяющего инкапсулировать теги VLAN в теги второго уровня для расширения числа VLAN-ов до 16 млн.
  • Добавлена поддержка типа полей “float”.
  • Модуль записи в Amazon Elastic Compute Cloud переведён на использование протокола IMDSv2 (Instance Metadata Service).
  • Проведён рефакторинг кода для добавления UDP-туннелей.
  • Добавлена поддержка elasticsearchAPIKey и elasticsearchBasicAuth.

Release. Ссылка here.