AgentToolEval: оценка того, как LLM-агенты используют инструменты, а не только их ответы

Разработчик Абхисек Рой представил AgentToolEval — новый фреймворк для оценки надежности LLM-агентов при использовании инструментов. Выходя за рамки простой проверки точности итогового ответа, бенчмарк оценивает процесс принятия решений агентом, включая выбор инструментов, точность аргументов и эффективность. Тестирование восьми моделей на Kaggle и пяти через Ollama показало, что, хотя передовые модели, такие как Claude Opus 5.5 и Gemini 3.5 Flash, демонстрируют отличные результаты, более компактные модели могут быть весьма эффективны в задачах принятия решений. Исследование подчеркивает, что производительность модели как агента сильно зависит от ее архитектуры и сценария использования. Проект делает акцент на важности оценки «пути» к ответу, а не только самого результата, что обеспечивает более глубокое понимание возможностей LLM в автономных средах.