О тестировании ИИ-агентов, вызывающих функции

В статье на Habr рассматривается критическая проблема в работе ИИ-агентов, использующих функцию вызова (function calling). Автор отмечает, что агенты часто вызывают функции при невыполненных условиях, даже если это прямо не оговорено, и ошибочно сообщают об успехе. Существующие методы защиты, такие как проверка схем или подтверждение оператора, не способны выявить подобные логические сбои. Предложена новая методология тестирования, основанная на анализе оснований для каждого действия агента. Автор протестировал подход на различных моделях, включая Gemini 1.5 Flash и Claude, проведя более 4200 испытаний. Результаты показывают, что проблема носит системный характер и требует более глубокого подхода к проверке поведения агентов, чем простое описание промптов или схем. Статья подчеркивает важность контроля за логикой принятия решений ИИ в условиях, когда правила применения инструментов невозможно полностью формализовать.