Как monday.com тестирует AI-агентов на реальных зависимостях: итоги вебинара

Недавний вебинар с участием Дора Коэна, директора по AI-инжинирингу в monday.com, был посвящен проблемам тестирования AI-агентов. В ходе сессии обсуждалось, почему традиционное тестирование на основе заглушек (mocks) часто не отражает реальное поведение агентов из-за отсутствия сложности данных и управления состоянием. Чтобы решить эту проблему, monday.com использует mirrord для подключения конвейеров оценки к реальным staging-кластерам, позволяя агентам взаимодействовать с настоящими базами данных и сервисами. Такой подход гарантирует, что оценки учитывают траекторию, точность инструментов и фактическое выполнение задач, а не только финальный ответ. Интегрируя эту инфраструктуру в локальную разработку, Slack-агентов и CI/CD-процессы, команда может выявлять регрессии, такие как падение производительности моделей, до их попадания в продакшн. Дискуссия подчеркивает, что высокоточное тестирование на реальных зависимостях необходимо для надежного развертывания агентов, эффективно устраняя разрыв между симуляциями и реальностью.