Кто на самом деле сломал вашего ИИ-агента: модель или обвязка?

Когда ИИ-агенты допускают ошибки в продакшене, разработчики часто спорят о причинах: виновата ли сама языковая модель, некорректный промпт или внешние API. Новое исследование от Scale AI предлагает систематизированный подход к диагностике этих сбоев. Авторы работы представили таксономию из 41 режима отказа, которая помогает точно определить, где именно происходит сбой в системе. Анализ показывает, что «вина модели» редко решается простым дообучением (fine-tuning). На практике большинство проблем кроется в «обвязке» — архитектуре промптов, логике вызова инструментов или обработке данных. Автор статьи разбирает четыре реальных кейса, демонстрируя, что замена модели не является универсальным решением. Этот материал будет полезен инженерам, работающим над надежностью ИИ-систем, так как он смещает фокус с бесконечной смены моделей на отладку инфраструктуры и логики взаимодействия агента с внешним миром.