Исследователи из команды Meta* Fundamental AI Research анонсировали выпуск четырех новых моделей ИИ, предназначенных для разработчиков и исследователей. В их число входят модели JASCO, AudioSeal и две версии модели Chameleon. Одним из самых ярких примеров стала модель JASCO, о которой подробно рассказано в статье на сервере arXiv.
JASCO: улучшение звука и создание мелодий
Модель JASCO способна анализировать различные аудиозаписи и улучшать их качество. Пользователи смогут настраивать звучание отдельных инструментов, вроде ударных, бас-гитары или даже мелодии. Более того, JASCO умеет генерировать музыку с нуля на основе текстового описания. Например, можно попросить модель создать блюзовую композицию с мощным басом и ударными, а затем детализировать звучание других инструментов. Исследователи из Meta* сравнили JASCO с похожими системами и пришли к выводу, что их разработка превосходит конкурентов по трем ключевым показателям.
AudioSeal: маркировка искусственно сгенерированной речи
Модель AudioSeal предназначена для добавления водяных знаков к речи, сгенерированной приложениями на основе ИИ, что позволяет легко идентифицировать искусственно созданный контент. AudioSeal также может быть использована для маркировки сегментов искусственной речи, добавленных к реальной речи. Модель будет доступна по коммерческой лицензии, что расширяет возможности ее применения в различных коммерческих проектах.
Chameleon: преобразование текста в визуальные изображения
Две модели Chameleon, 7B и 34B, предназначены для преобразования текста в визуальные изображения и будут доступны с ограниченным функционалом. Команда отмечает, что в обеих версиях, 7B и 34B, модели должны понимать как текст , так и изображения. Благодаря этому они могут выполнять обратную обработку, например, генерировать подписи к изображениям.
* Компания Meta и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.