Насколько эффективно агенты используют методы тестирования и верификации?

В своем недавнем анализе Дэн Лу исследует эффективность автономных ИИ-агентов в применении систематических методов тестирования и верификации при разработке программного обеспечения. В статье рассматривается, способны ли современные агентные системы надежно выявлять ошибки, писать осмысленные тесты и проверять собственные результаты по сравнению с традиционными процессами под руководством человека. Лу подчеркивает значительный разрыв между теоретическими возможностями LLM и их практическим применением в реальной разработке ПО. Автор утверждает, что, хотя агенты показывают успехи в генерации кода, им часто не хватает строгости верификации, необходимой для промышленного программного обеспечения. Анализируя различные агентные рабочие процессы, автор предполагает, что текущим инструментам не хватает глубины для автономного обеспечения качества. Статья представляет собой критический взгляд на ограничения ИИ-разработки, призывая разработчиков сохранять скептицизм в отношении надежности автоматизированных агентов в сложных сценариях отладки и тестирования.