nginx отлично передает токены, а HAProxy задерживает их на 206 мс

Недавний анализ производительности исследует распространенное мнение о том, что nginx буферизирует потоки Server-Sent Events (SSE), что часто заставляет разработчиков отключать proxy_buffering. Исследование показывает, что nginx не буферизирует потоки токенов по своей сути. Напротив, HAProxy в конфигурации по умолчанию вносит значительную задержку в 206 мс для первого токена, объединяя мелкие кадры в более крупные пакеты. Автор демонстрирует, что широко рекомендуемый заголовок «X-Accel-Buffering: no» является специфической конвенцией nginx и не влияет на HAProxy. Хотя proxy_buffering может вызывать незначительные задержки при передаче больших объемов данных, он не является основной причиной задержек при потоковой передаче токенов. Результаты подчеркивают, что при потоковой передаче токенов LLM именно поведение HAProxy по умолчанию является реальным узким местом, а не настройки nginx. Автор подробно описывает методологию тестирования, подчеркивая важность использования реалистичных размеров полезной нагрузки.