Компания Mozilla опубликовала экспериментальное дополнение MemoryCache с реализацией диалоговой системы машинного обучения, учитывающей контент, к которому пользователь обращается в браузере. В отличие от других AI-чатов MemoryCache позволяет персонализировать общение с пользователем и использовать важные для конкретного пользователя данные при формировании ответов на вопросы. Код проекта распространяется под лицензией MPL. Установка в Firefox пока поддерживается только вручную в режиме “about:debugging” и требуется применения патча.
Все компоненты MemoryCache выполняются на системе пользователя и не обращаются к внешним ресурсам. В качестве базы знаний в MemoryCache задействована модель GPT4All-J, обученная на коллекциях англоязычного контента Pile (825 ГБ данных), ShareGPT (13 МБ) и Dolly (660 МБ), и доступная в вариантах с 3, 7 и 13 млрд параметров. Для работы с моделью задействован инструментарий privateGPT, оптимизированный для использования больших языковых моделей на локальных компьютерах.
Дополнение Memory Cache сохраняет просматриваемые страницы в каталоге “~/Downloads/MemoryCache”, из которого затем их извлекает периодически запускаемый скрипт и передаёт в обработчик privateGPT (ingest.py) для дополнения имеющейся языковой модели. Таким образом, модель адаптируется к интересам пользователя и может использоваться для обсуждения просмотренного контента в текстовом чате с ботом. Пользователь может на естественному языке задавать боту вопросы о сохранённых страницах, например, для уточнения каких-то фактов, и бот будет формировать ответ, используя локальную модель, не обращаясь к внешним сервисам.