Переход на более мощную модель ИИ может снизить производительность

Недавнее исследование Tirtha ставит под сомнение стандартный «лестничный» подход к ИИ, при котором разработчики переключаются с малых и дешевых моделей на более крупные и дорогие для выполнения сложных задач. Тестирование 2400 задач показало, что, хотя «эскалация» к передовым моделям в среднем улучшает результаты, она также привела к сбоям в 34 задачах, которые ранее успешно решались более дешевой моделью. Исследование утверждает, что лестничная модель ошибочна, так как игнорирует такие важные переменные, как тип задачи, контекст и соблюдение правил. Вместо автоматической эскалации авторы предлагают сосредоточиться на системной оптимизации, например, на улучшении качества входных данных и проверке результатов по категориям. Полученные данные показывают, что общие метрики производительности часто скрывают существенные ошибки, и что наиболее значительные улучшения в системах ИИ зачастую зависят не только от выбора более мощной модели.