Спекулятивное декодирование в vLLM на графических процессорах AMD

Проект vLLM объявил об официальной поддержке спекулятивного декодирования на графических процессорах AMD, что стало важной вехой для инференса больших языковых моделей с открытым исходным кодом. Спекулятивное декодирование — это метод, предназначенный для ускорения работы LLM за счет использования меньшей и более быстрой модели для предсказания последовательностей токенов, которые затем проверяются основной моделью. Расширяя эту оптимизацию на экосистему AMD ROCm, vLLM позволяет разработчикам достигать более высокой пропускной способности и меньших задержек на оборудовании, отличном от NVIDIA. Это обновление устраняет критический пробел в инфраструктуре ИИ, позволяя более эффективно развертывать генеративные модели на кластерах с процессорами AMD. Реализация использует специфические аппаратные возможности AMD для поддержания высокой производительности при снижении вычислительных затрат, обычно связанных с авторегрессионной генерацией. Ожидается, что это развитие расширит доступность высокопроизводительных инструментов ИИ для исследователей и предприятий, использующих различные аппаратные платформы.