Влияние транспорта KV‑переноса на производительность PD‑disaggregation на примере инференса MiniMax‑M3

В статье на Habr автор анализирует влияние различных сетевых протоколов на производительность дезагрегированного инференса (PD-disaggregation) больших языковых моделей. Исследование проводилось на примере модели MiniMax-M3 с использованием кластера из двух узлов, оснащенных восемью GPU NVIDIA B200 на каждом. Основное внимание уделено сравнению эффективности RDMA/InfiniBand с поддержкой GPUDirect и стандартного стека TCP/Ethernet при передаче KV-кэша между узлами во время выполнения стадий prefill и decode. Экспериментальная методология охватывает четыре уровня анализа: от физических характеристик фабрики до комплексных метрик производительности движка sglang. В общей сложности было проанализировано 268 тестовых прогонов, что позволило выявить критические узкие места в архитектуре распределенного инференса. Результаты исследования предоставляют ценные данные для оптимизации инфраструктуры при масштабировании LLM-сервисов, подчеркивая важность выбора сетевого транспорта для минимизации задержек при передаче контекста между вычислительными узлами.