Компания Opera Software внесла экспериментальные изменения в свой браузер Opera One, добавив возможность локального запуска крупных языковых моделей (LLM) в рамках программы AI Feature Drop. Пока что эта функция доступна исключительно в версии браузера для разработчиков, доступного только на настольных платформах.
Обновление добавляет в Opera One Developer 150 различных LLM из 50 семейств, включая популярные LLaMA, Gemma и Mixtral.
Ранее Opera предлагала в своём браузере только языковую модель Aria собственной разработки, используемую в качестве чат-бота наподобие Copilot от Microsoft и ChatGPT от OpenAI.
Ключевое отличие Aria от прочих языковых моделей заключается в том, что ей не нужен доступ в Интернет для работы. Теперь по такому же принципу будут работать ещё 150 языковых моделей. Доступ к Интернету для их работы не нужен за исключением первого запуска, а все обработанные через модель данные останутся на компьютере пользователя.
Компания также предложила потенциальный будущий вариант использования локальных LLM для обработки истории посещений пользователя и прочих данных, чтобы используемый в браузере чат-бот стал максимально персонализированным и знал о пользователя буквально всё для лучшего понимания контекста запросов. На этом моменте самое время надеть на голову шапочку из фольги.
“Это настолько передовая технология, что она может не работать”, – шутливо отметили представители Opera в своём блоге. Вице-президент компании Ян Стандал подтвердил, что сборки для разработчиков часто экспериментальные и могут быть “немного сырыми”.
Локальная работа больших языковых моделей, вероятно, будет “значительно медленнее”, чем использование онлайн-моделей на серверах с мощными GPU от Nvidia. Однако более серьёзной проблемой, чем низкая производительность домашнего железа, может стать требуемое дисковое пространство: большинство моделей занимает от 2 до 10 ГБ памяти, а некоторые модели и вовсе могут достигать в объёме пугающих 70 ГБ. А если пользователь по какой-то причине захочет установить сразу все 150 языковых моделей, даже накопителя на 1 терабайт может оказаться недостаточно.
Наибольшая ирония заключается в том, что именно интернет-браузер, предполагающий постоянное наличие сети для работы, стал единым вместилищем чат-ботов, которые не требуют подключения к Интернету. Хотя тут, опять же, акцент делается скорее на безопасности данных, чем на использование LLM в спартанских условиях.
Несмотря на возможные ограничения и временную недоступность функции для всех желающих, Opera One стала первым в мире браузером, предложившим решение для локального запуска LLM на ПК и это определённо вызывает восторг и чёткое ощущение, что будущее уже здесь.