Анонимный разработчик под псевдонимом Аарон Б. представил программу Nepenthes – инструмент, созданный для нейтрализации веб-сканеров, собирающих данные для обучения искусственного интеллекта. Названный в честь хищных растений-непентесов, этот инструмент формирует бесконечный цикл страниц со ссылками, замыкая сканеры в ловушке и заставляя их тратить ресурсы впустую.
Принцип работы Nepenthes прост: программа генерирует ссылки, которые постоянно возвращают бота обратно в созданный лабиринт. По словам Аарона Б., большинство веб-сканеров механически загружают страницы и следуют по указанным ссылкам, не анализируя их содержимое. Таким образом, Nepenthes эффективно запирает их в бесконечном блуждании, лишая доступа к реальному контенту.
На сайте программы размещено предупреждение, что это “намеренно вредоносный код”, который следует использовать только осознанно. Nepenthes можно применять для защиты контента сайта от нежелательного сканирования или для атаки на сканеры, вынуждая их тратить вычислительные мощности. “Это способ затруднить доступ к реальному контенту и пустить ненужные ресурсы на фальшивые данные”, – отмечает разработчик.
Владельцы сайтов уже давно сталкиваются с трудностями в борьбе с автоматическими сканерами, игнорирующими правила robots.txt или находящими способы обходить ограничения. Примером служат случаи, когда боты OpenAI и Anthropic за один день делали миллионы запросов на отдельных сайтах, таких как iFixit. Эти случаи стали одной из причин для выпуска Nepenthes.
Создатель инструмента признает, что его проект – это форма цифрового протеста. “Интернет превратился в инструмент извлечения прибыли, контролируемый крупными корпорациями, и пришло время дать отпор”, – объясняет Аарон Б. По его словам, программа также является своего рода искусством, выражающим гнев и разочарование от современной цифровой среды.
Некоторые утверждают, что такие ловушки легко обойти, но миллионы строк логов Nepenthes указывают на обратное. Даже крупнейшие игроки, такие как Google, оказались неспособны эффективно справиться с этой защитной системой.