Компания Intel Habana, подразделение Intel, специализирующееся на ускорителях искусственного интеллекта, заявила, что ее чипы Gaudi показали лучшую производительность по сравнению с конкурентами от Nvidia в тестах на моделях искусственного интеллекта для визуального и языкового анализа (Vision-Language, VL) от компании Hugging Face.
Hugging Face – это компания, занимающаяся разработкой и исследованием в области естественного языка и компьютерного зрения. Она создала несколько популярных моделей ИИ, таких как BERT, GPT-2 и GPT-3, которые способны генерировать текст, анализировать эмоции, отвечать на вопросы и выполнять другие задачи. Одна из таких моделей – BridgeTower, которая может обрабатывать и ассоциировать информацию между модальностями языка и визуального представления.
По словам представителей Intel Habana, значительное ускорение достигается за счет аппаратной акселерации загрузки данных – одного из узких мест для обучения моделей ИИ, особенно для VL-моделей. Загрузка рабочей нагрузки в память часто является проблемой для вычислений, поэтому Intel Habana решила оптимизировать этот шаг в процессе обучения. Основная проблема связана с тем, что ЦПУ подвергается множеству дорогостоящих операций, таких как декодирование изображений и аугментация изображений (аналогично проблеме вызова рисования для ГПУ), что приводит к тому, что HPU (или ГПУ Nvidia) ожидают дальнейших данных, которые должны быть обработаны (ЦПУ) и затем отправлены на ускоритель ИИ.
В результате тестирования Intel Habana с помощью предварительно обученной модели BridgeTower с 866 миллионами параметров было показано, что чипы Gaudi превосходят по скорости чипы Nvidia A100 80 ГБ в 2,5 раза – и даже обгоняют самый продвинутый чип Nvidia H100 на 1,4 раза.