Тензорные ядра больше не спасают: почему ИИ-ускорители упрутся в память

Производители ИИ-ускорителей активно наращивают вычислительные мощности, увеличивая количество тензорных ядер и внедряя форматы данных FP8 и FP4. Однако стремительный рост производительности наталкивается на критическое ограничение: пропускную способность памяти. Современные чипы часто простаивают, ожидая поступления весов моделей и промежуточных данных. Для решения этой проблемы Samsung разрабатывает память стандарта HBM5. Новая технология обещает удвоить производительность по сравнению с HBM4E и повысить энергоэффективность на 20%. Благодаря 4096-битной шине пропускная способность одного стека может достичь 4 ТБ/с. Это развитие подчеркивает, что будущее ИИ-вычислений зависит не только от вычислительных блоков, но и от способности памяти обеспечивать их необходимым объемом данных в реальном времени.