GPU Feynman нового поколения от NVIDIA могут получить блоки LPU от Groq к 2028 году
Лицензионное соглашение Team Green на интеллектуальную собственность блоков LPU от Groq может показаться умеренным событием, если смотреть на масштаб приобретения и связанные с этим показатели дохода, но на самом деле NVIDIA намерена занять лидирующие позиции в сегменте инференса через LPU, и мы уже подробно обсуждали это в расширенном материале. Что касается того, как NVIDIA планирует интегрировать LPU, появились различные предположения; однако, основываясь на мнении эксперта по GPU AGF, похоже, что блоки LPU могут быть размещены на GPU Feynman нового поколения с использованием технологии гибридного соединения TSMC.
Эксперт считает, что реализация может напоминать то, что AMD сделала с процессорами X3D, используя технологию гибридного соединения SoIC от TSMC для интеграции тайлов 3D V-Cache на основной вычислительный кристалл. AGF утверждает, что интеграция SRAM в виде монолитного кристалла может быть неправильным шагом для GPU Feynman, учитывая, что масштабирование SRAM ограничено, а его производство на передовых техпроцессах приведет к расточительству дорогого кремния и резкому увеличению стоимости использования площади пластины. Вместо этого AGF считает, что NVIDIA разместит блоки LPU поверх вычислительного кристалла Feynman.
Теперь этот подход звучит разумно, учитывая, что при таком варианте чипы вроде A16 (1,6 нм) будут использоваться для основного кристалла Feynman, содержащего вычислительные блоки (тензорные ядра, логику управления и т.д.), в то время как отдельные кристаллы LPU будут содержать большие банки SRAM. Кроме того, для соединения этих кристаллов технология гибридного соединения TSMC окажется критически важной, поскольку она обеспечит широкий интерфейс и меньшее энергопотребление на бит по сравнению с внешней памятью. В довершение всего, поскольку A16 оснащен тыльной подачей питания, передняя сторона освобождается для вертикальных соединений SRAM, обеспечивая декодирование с низкой задержкой.
Однако при использовании этого метода возникают опасения относительно того, как NVIDIA будет управлять тепловыми ограничениями, поскольку размещение кристаллов на техпроцессе с высокой плотностью вычислений уже само по себе является сложной задачей. А с LPU, которые ориентированы на постоянную пропускную способность, это может создать узкие места. Что еще важнее, проблемы на уровне выполнения также значительно возрастут при таком подходе, поскольку LPU концентрируются на фиксированном порядке выполнения, что, конечно же, создает конфликт между детерминированностью и гибкостью.
Даже если NVIDIA удастся решить ограничения на аппаратном уровне, основная проблема заключается в том, как CUDA ведет себя при выполнении в стиле LPU, поскольку это требует явного размещения памяти, тогда как ядра CUDA разработаны для абстракции оборудования. Интеграция SRAM в архитектуру ИИ не будет простой задачей для Team Green, так как потребуется инженерное чудо для обеспечения хорошей оптимизации сред LPU-GPU. Однако это может быть та цена, которую NVIDIA готова заплатить, если хочет лидировать в сегменте инференса.
Первоисточник:Muhammad Zuhair