Организация Open Source Initiative (OSI), занимающаяся проверкой лицензий на предмет соответствия критериям Open Source, утвердила документ Open Source AI Definition v1.0 (OSAID), в котором сформулировано определение открытого AI. AI-система может считаться открытой, если она соответствует следующим критериям:
- Возможность использования в любых целях без необходимости получения отдельного разрешения;
- Возможность изучения работы системы и инспектирования её компонентов для понимания как создаются результаты;
- Возможность внесения изменений для любых целей, включая изменение выводимой системой информации;
- Возможность передачи другим лицам как исходного варианта, так и редакции после внесения изменений, без ограничения целей использования.
Для предоставления возможности внесения изменений открытая AI-система должна включать:
- Детальную информацию о данных, использованных при обучении, и методологии обучения. Информации должно быть достаточно для того, чтобы профессиональный разработчик смог своими силами воссоздать эквивалентную AI-систему, используя для обучения те же самые или похожие данные.
- Исходный код, позволяющий как запустить AI-систему, так и выполнить процесс её обучения. Код также должен охватывать такие области, как препроцессинг, проверка данных и токенизация. Кроме того, должно быть предоставлено детальное описание архитектуры модели.
- Параметры модели (весовые коэффициенты), подразумевающие наличие готового к использованию среза состояния после обучения или наличие финального оптимизированного варианта модели.
Большие языковые модели машинного обучения, признанные соответствующими подготовленным критериям: Pythia (Eleuther AI), OLMo (AI2), Amber (LLM360), CrystalCoder (LLM360) и T5 (Google).
Большие языковые модели машинного обучения претендующие на соответствие, но требующие внесения изменений в лицензии или плавила использования: BLOOM (BigScience), Starcoder2 (BigCode) и Falcon (TII).
Большие языковые модели машинного обучения, признанные не соответствующими критериям открытых AI-систем, в силу отсутствия необходимых компонентов или из-за наличия требований, несовместимых с принципами Open Source: Llama2 (Meta), Grok (X/Twitter), Phi-2 (Microsoft) и Mixtral (Mistral).