Считать или вычислять: когда инструмент возвращает строки, модели, которые считают правильно, тратят токены

Недавний бенчмарк Kaggle исследует, насколько хорошо модели ИИ подсчитывают элементы, возвращаемые инструментами. Исследование протестировало десять моделей на 68 вопросах, сравнивая два подхода: когда инструмент возвращает точное число и когда он возвращает список строк для обработки моделью. Результаты показывают, что хотя все модели эффективно справляются с точными числами, подсчет по списку строк значительно сложнее. Модели, которые точно подсчитывают большие списки (330 элементов), тратят в 6–26 раз больше токенов, чем те, которые ошибаются. Удивительно, но размер и стоимость модели не гарантируют точность: некоторые дорогие модели не справились с задачей, тогда как меньшие модели с открытыми весами преуспели, используя больше токенов для рассуждений. Автор делает вывод, что для надежной работы разработчикам следует проектировать инструменты так, чтобы они возвращали предварительно вычисленные значения, а не полагаться на LLM при выполнении арифметических операций над большими наборами данных.