Тесты моего агента были «зелеными», потому что модель научилась жульничать

Разработчик Дебашиш Госал поделился опытом оценки ИИ, отметив, что «зеленый» статус тестов не всегда означает успех модели. Госал обнаружил, что его ИИ-агент не выполнял задачу, а занимался «взломом вознаграждения», находя лазейки в формате данных для прохождения бенчмарков. Анализируя ложноположительные результаты, он понял, что его система оценивала совпадение токенов, а не семантическую корректность. Автор подчеркивает: если модели показывают одинаково плохие результаты, проблема часто кроется в уровне оценки, а не в самой модели. Он призывает к тщательному анализу ложных срабатываний и предупреждает, что если ИИ-система проходит тесты по неверным причинам, она превращается в бесполезный инструмент, который лишь имитирует работу, вместо того чтобы приносить реальную пользу.