Период полураспада бенчмарка ИИ сократился вдвое: 19 месяцев вместо 38

Исследователь проанализировал 224 бенчмарка для языковых моделей, выпущенных девятью ведущими лабораториями в период с 2018 по 2026 год, чтобы определить их жизненный цикл. Под «смертью» бенчмарка понимается момент, когда модели достигают 90% точности или уровня человека, либо когда набор признается неактуальным. Результаты исследования показывают, что период полураспада бенчмарков сократился с 38 месяцев для наборов, выпущенных до 2023 года, до 19 месяцев для более поздних. Это свидетельствует о стремительном росте возможностей ИИ-моделей, которые преодолевают установленные лимиты вдвое быстрее, чем раньше. Кроме того, выяснилось, что каждый седьмой бенчмарк становится непригодным из-за внутренних дефектов, а в агентных средах этот показатель достигает почти 50%. Автор предоставил открытый доступ к датасету и методологии, что позволяет сообществу лучше оценивать долговечность новых инструментов тестирования ИИ.