Почему инфраструктура для агентов — это отдельная дисциплина

Инженеры платформ часто относятся к ИИ-агентам как к обычным stateless-микросервисам, развертывая их с использованием стандартных конфигураций Kubernetes. Однако такой подход часто терпит неудачу в продакшене, поскольку запросы агентов фундаментально отличаются от стандартных HTTP-запросов. Агенты включают в себя длительные цепочки рассуждений, переменные вычислительные нагрузки и состояния, что нарушает привычные предположения о проверках работоспособности (liveness probes), автомасштабировании и управлении сессиями. Например, стандартные проверки часто завершают работу агентов в процессе рассуждений, а масштабирование по CPU не отражает реальную нагрузку. В статье утверждается, что инфраструктура для агентов требует особого архитектурного подхода, подчеркивающего разделение здоровья процесса и его прогресса, а также явное управление состоянием вместо использования привязанных сессий. Отказ от шаблона «stateless-сервиса» позволяет командам избежать скрытых сбоев и повысить надежность развертывания агентов.