Победа NVIDIA на всех семи тестах MLPerf AI-Training

Компания NVIDIA объявила, что её новая платформа на базе архитектуры Blackwell Ultra, система GB300 NVL72, заняла первое место во всех семи тестах MLPerf, предназначенных для оценки производительности при обучении моделей искусственного интеллекта.

 

Основные показатели
Результаты тестов впечатляют:

• В обучении модели Llama 3.1 405B система справилась всего за 10 минут.
  
  
• Другие результаты включают:
  
  
• Llama 2 70B LoRA — 0,4 минуты
  
• Llama 3.1 8B — 5,2 минуты
  
• FLUX.1 — 12,5 минуты
  
• DLRM-dcnv2 — 0,71 минуты
  
• R-GAT — 1,1 минуты
  
• RetinaNet — 1,4 минуты

Технические детали и достижения

Платформа GB300 NVL72 оснащена высокоскоростной памятью HBM3e объёмом 279 ГБ на каждый графический процессор, а общий объём памяти (GPU + CPU) достигает 40 ТБ.
NVIDIA применила новую схему вычислений с точностью FP4, которая обеспечивает примерно в два раза более высокую скорость по сравнению с FP8. В сочетании с архитектурой Blackwell Ultra это даёт до трёхкратного прироста производительности при обучении моделей.
По сравнению с предыдущим поколением Hopper (H100), новая система в некоторых задачах демонстрирует более чем четырёхкратное ускорение, а по сравнению с GB200 — почти двукратное.

Контекст и значение

Это достижение имеет большое значение для индустрии: NVIDIA стала единственным участником, подавшим результаты во всех категориях MLPerf Training и одновременно занявшим первое место во всех тестах.
Результаты подчёркивают важность не только аппаратных инноваций, но и программной экосистемы компании — таких решений, как CUDA, TensorRT и NCCL, которые обеспечивают оптимальную производительность при обучении современных моделей искусственного интеллекта.

Дополнение:
В уточнении к результатам отмечено, что тест с моделью Llama 3.1 405B был проведён с использованием системы GB200 NVL72, а не GB300.

Источник: Сарфраз Хан