Принадлежащая российской IT-компании VK контентная платформа “Дзен” запретила поисковому роботу GPTBot, созданному OpenAI, собирать со своего сайта данные для обучения нейросетей. Об этом сообщает издание “Коммерсантъ” (“Ъ”), ссылаясь на содержимое файла robots.txt c сайта “Дзен”, в котором прописываются инструкции для поисковых роботов.
OpenAI использует GPTBot для автоматического сбора информации с сайтов во всех доменных зонах. Полученные данные позже используются компанией для обучения нейросетевых продуктов, которые, как подметили в “Ъ”, недоступны российским пользователям.
В VK сообщили изданию, что запретили GPTBot анализировать “Дзен” для снижения нагрузки на сервера, которые обслуживают сервис. Поскольку “Дзен” является одной из самых крупных в стране рекомендательных систем, она ежесекундно обрабатывает более 150 тыс. запросов. Поэтому для корректной и стабильной работы сервиса требуются огромные серверные мощности.
“Решение не включать GPTBot от OpenAI в файл принято для грамотного использования технического ресурса, чтобы не создавать дополнительную нагрузку. В «Дзене» регулярно создаются миллионы новых публикаций: как в текстах, так и в видеоформате, – мы отправляем ресурсы на то, чтобы обеспечить качественный опыт нашим пользователям и авторам”, – сообщили в VK.
В “Ъ” также напомнили, что в декабре прошлого года Главный радиочастотный центр (ГРЧЦ) рекомендовал российским хостинг-провайдерам прописать в robots.txt запрет на GPTBot.
Ранее российская нейросеть научилась предсказывать распространение опасного вулканического пепла.