200 агентов, 2 011 438 вызовов инструментов: кто платит за ваш ИИ?

Анализ агентских систем, обрабатывающих более двух миллионов вызовов инструментов, показывает, что основные расходы на ИИ связаны с неэффективным использованием моделей, а не со сложными вычислениями. Автор утверждает, что большинство подзадач, таких как форматирование данных или классификация инструментов, не требуют дорогих передовых моделей. Команды часто переплачивают, используя одну «стандартную» модель для всех этапов работы агента. Внедрение уровня маршрутизации, который назначает подзадачи наиболее экономически эффективной модели, способной выполнить конкретное действие, позволяет значительно сократить расходы. Кроме того, такой подход позволяет интегрировать требования комплаенса и локализации данных непосредственно в рабочий процесс. В статье делается вывод, что большинство высоких счетов за ИИ — это, по сути, «счета за маршрутизацию», и предлагается сопоставлять каждую подзадачу с самой дешевой моделью, соответствующей требованиям к качеству, для оптимизации бюджета.