Ваш инструмент вернул строки. Модель посчитала их неверно.

Недавнее исследование фреймворков для ИИ-агентов выявило критическую проблему надежности: LLM часто не могут точно подсчитать элементы при получении списков необработанных данных. Протестировав 408 запусков в таких фреймворках, как CrewAI, LangGraph и Strands, автор демонстрирует, что модели часто допускают ошибки на единицу или неверно интерпретируют граничные условия при подсчете строк, возвращенных инструментом. Исследование подчеркивает, что эти сбои происходят незаметно, без вызова ошибок, и часто вызваны неспособностью модели эффективно обрабатывать большие списки данных. Автор предлагает разработчикам предварительно вычислять значения внутри самого инструмента, вместо того чтобы полагаться на модель при выполнении арифметических операций с сырыми данными. Такой подход не только повышает точность, но и значительно снижает потребление токенов и затраты. Полученные данные подчеркивают важность проверки того, какие именно данные попадают в промпт модели, а не только того, что выводит инструмент.