CoreWeave: GPU NVIDIA GB300 в 6 раз быстрее H100 на DeepSeek R1

NVIDIA представила новый суперчип Blackwell, который демонстрирует значительное преимущество по сравнению с предыдущим поколением H100. Тесты, проведенные CoreWeave на модели DeepSeek R1, показали, что для достижения 6-кратного увеличения производительности требуется всего 4 графических процессора GB300 вместо 16 H100. Это сокращение нагрузки на тензорный параллелизм позволяет улучшить межпроцессорное взаимодействие и повысить общую пропускную способность.

Система GB300 NVL72 имеет емкость памяти до 40 TB и скорость памяти 130 TB/s, что существенно улучшает работу с большими и сложными AI-моделями. Использование меньшего количества GPU связано с эффективностью архитектуры нового чипа, которая минимизирует затраты на коммуникацию между графическими процессорами, помогая снижать общие издержки предприятия и обеспечивать более быструю обработку запросов.

Таким образом, новый чип позволяет компаниям более эффективно масштабировать AI-операции и достигать высокой производительности даже с ограниченными ресурсами.

Первоисточник: Sarfraz Khan