Вдвое меньше токенов без смены модели: что NVIDIA сделала с harness кодинг-агента

Исследователи из NVIDIA, MIT и NTU представили новый подход к оптимизации ИИ-агентов, специализирующихся на написании кода. Вместо замены модели на более компактную, команда использовала другого ИИ-агента для автоматического улучшения «обвязки» (harness) ассистента на базе модели Pi. В ходе эксперимента агент протестировал 152 стратегии оптимизации промптов и взаимодействия. Четыре из них позволили сократить потребление токенов почти в два раза при сохранении исходной модели, что привело к снижению затрат на API на 30 %. Несмотря на незначительное падение производительности в бенчмарке EdgeBench (на 6 %), результаты демонстрируют эффективность автоматизированной настройки инфраструктуры агентов. Авторы отмечают, что данный метод позволяет существенно экономить ресурсы без потери качества генерации, однако подчеркивают наличие слабых мест в стабильности предложенных решений при масштабировании на более сложные задачи программирования.