Модели Qwen 2.5 72B и 32B теперь доступны на Cerebras со скоростью 1500 токенов/с

Компания Cerebras Systems объявила о доступности моделей Qwen 2.5 72B и 32B на своей платформе для инференса. Благодаря использованию специализированной технологии Wafer-Scale Engine, эти модели достигают высокой скорости вывода до 1500 токенов в секунду. Данная интеграция предоставляет разработчикам доступ к современным моделям с открытыми весами, позволяя избежать задержек, характерных для традиционной облачной инфраструктуры на базе GPU. Cerebras Inference API разработан для поддержки приложений с высокой пропускной способностью, что делает его подходящим для ИИ-агентов реального времени, сложной обработки данных и масштабных корпоративных развертываний. Оптимизируя аппаратно-программный стек специально для архитектур трансформеров, Cerebras продолжает укреплять свои позиции в качестве высокоскоростной альтернативы для организаций, стремящихся масштабировать свои возможности в области генеративного ИИ без ущерба для скорости или сложности моделей.