Релиз ядра Linux 5.17

После двух месяцев разработки Линус Торвальдс представил релиз ядра Linux 5.17. Среди наиболее заметных изменений: новая система управления производительностью для процессоров AMD, возможность рекурсивного маппинга идентификаторов пользователей для ФС, поддержка переносимых скомпилированных BPF-программ, перевод генератора псевдослучайных чисел на алгоритм BLAKE2s, утилита RTLA для анализа выполнения в режиме реального времени, новый бэкенд fscache для кэширования сетевых ФС, возможность прикрепления имён к анонимным операциям mmap.

В новую версию принято 14203 исправлений от 1995 разработчиков,
размер патча – 37 МБ (изменения затронули 11366 файлов, добавлено 506043 строк кода, удалено 250954 строк). Около 44% всех представленных в 5.17 изменений связаны с драйверами устройств, примерно 16% изменений имеют отношение к обновлению кода, специфичного для аппаратных архитектур, 15% связано с сетевым стеком, 4% – с файловыми системами и 4% c внутренними подсистемами ядра.

Основные новшества в ядре 5.17:

• Дисковая подсистема, ввод/вывод и файловые системы
  • Реализована возможность вложенного маппинга идентификаторов пользователей примонтированных файловых систем, применяемого для сопоставления файлов определённого пользователя на примонтированном чужом разделе с другим пользователем в текущей системе. Добавленная возможность позволяет рекурсивно использовать маппинг поверх файловых систем для которых уже применяется маппинг.
  • Полностью переписана подсистема fscache, применяемая для организации кэширования в локальной файловой системе данных, передаваемых через сетевые файловые системы. Новая реализация отличается значительным упрощением кода и заменой усложнённых операций планирования и отслеживания состояний объектов на более простые механизмы. Поддержка нового fscache реализована в файловой системе CIFS.
  • В подсистеме отслеживания событий в ФС fanotify реализован новый тип событий FAN_RENAME, который позволяет разом перехватить операцию переименования файлов или каталогов (ранее для обработки переименований применялись два раздельных события FAN_MOVED_FROM и FAN_MOVED_TO).
  • В файловой системе Btrfs проведена оптимизация операций логгирования и fsync для больших каталогов, реализованная за счёт копирования только индексных ключей и сокращения объёма логгируемых метаданных. Обеспечена поддержка индексации и поиска по размеру элементов с данными о свободном пространстве, что позволило примерно на 30 уменьшить задержки и сократить время поиска. Разрешено прерывать операции дефрагментации. Включена возможность добавлять устройства при отключении балансировки между накопителями, т.е. при монтировании ФС с опцией skip_balance.
  • Предложен новый синтаксис монтирования файловой системы Ceph, решающий имевшиеся проблемы, связанные с привязкой к IP-адресам. Кроме IP-адресов для определения сервера теперь можно использовать идентификатор кластера (FSID): mount -t ceph [email protected]_name=/[subdir] mnt -o mon_addr=monip1[:port][/monip2[:port]]
  • Файловая система Ext4 переведена на новый API для монтирования, который разделяет стадии разбора опций монтирования и настройки суперблока. Прекращена поддержка опций монтирования lazytime и nolazytime, которые добавлялись как временное изменение для упрощения перевода util-linux на использование флага MS_LAZYTIME. Добавлена поддержка установки и чтения меток в ФС (ioctl FS_IOC_GETFSLABEL и FS_IOC_SETFSLABEL).
  • В модуль ksmbd с реализацией файлового сервера, использующего протокол SMB3, добавлена поддержка обмена ключами, задействован сетевой порт 445 для smbdirect и добавлена поддержка параметра “smb2 max credit”.
  • NFSv4 добавлена поддержка работы в файловых системах без разделения регистров символов в именах файлов и каталогов. В NFSv4.1+ добавлена поддержка определения агрегированных сеансов (trunking).
• Память и системные сервисы
  • Добавлен драйвер amd-pstate, обеспечивающий динамическое управление частотой следующего поколения CPU и APU от компании AMD для достижения оптимальной производительности. Драйвер разработан совместно с компанией Valve и нацелен на повышение эффективности управления энергопотреблением. Для адаптивного изменения частоты используется механизм CPPC (Collaborative Processor Performance Control), который позволяет более точно менять показатели (не ограничен тремя уровнями производительности) и более оперативно реагировать на изменение состояния, чем ранее используемые P-state драйверы на базе ACPI (CPUFreq).
  • В подсистеме eBPF предложен обработчик bpf_loop(), предоставляющий альтернативный способ организации циклов в eBPF-программах, более быстрый и простой для проверки верификатором.
  • На уровне ядра реализован механизм CO-RE (Compile Once – Run Everywhere), позволяющий собирать код eBPF-программ только один раз и использовать специальный универсальный загрузчик, адаптирующий загружаемую программу к текущему ядру и типам BTF (BPF Type Format).
  • В планировщике задач обеспечено отслеживание и вывод среди статистики /proc/PID/sched времени, проведённого процессами в состоянии принудительного простоя (forced-idle), применяемого например, для снижения нагрузки при перегреве процессора.
  • Добавлен модуль gpio-sim, предназначенный для симуляции чипов GPIO для проведения тестирования.
  • Предоставлена возможность назначения имён для областей приватной анонимной (выделенной через malloc) памяти, что может упростить проведение отладки и оптимизации потребления памяти в приложениях. Имена присваиваются через prctl с флагом PR_SET_VMA_ANON_NAME и отображаются в /proc/pid/maps и /proc/pid/smaps в форме “[anon:]”.
  • В команду “perf ftrace” добавлена подкоманда “latency” для генерации гистограмм с информацией о задержках.
  • Добавлен набор утилит “RTLA” для анализа работы в режиме реального времени. В состав входят такие утилиты, как osnoise (определяет влияние операционной системы на выполнение задачи) и timerlat (изменяет задержки, связанные с таймером).
  • Интегрирована вторая серия патчей с реализацией концепции фолиантов страниц памяти (page folios), которые напоминают объединённые страницы памяти (compound pages), но отличаются улучшенной семантикой и более понятной организацией работы. Использование фолиантов позволяет ускорить управление памятью в некоторых подсистемах ядра. В предложенных патчах завершён перевод страничного кэша на использование фолиантов и добавлена начальная поддержка ФС XFS.
  • Добавлен режим сборки “make mod2noconfig”, при котором генерируется конфигурация, собирающая все отключённые подсистемы в форме модулей ядра.
  • Подняты требования к версии LLVM/Clang, которую можно использовать для сборки ядра. Для сборки теперь требуется как минимум выпуск LLVM 11.