Правильно оформленное число — это не измерение: 13 дефектов в 7 инструментах оценки

Недавнее исследование выявило критическую проблему в программном обеспечении для оценки LLM и ИИ-агентов: склонность выдавать корректно оформленные числа, не имеющие под собой эмпирического обоснования. Автор проанализировал семь инструментов оценки с открытым исходным кодом, включая MLflow и DSPy, выявив 13 дефектов, при которых инструменты выдавали результаты, не подтвержденные доказательствами. Ошибки варьировались от неверных знаков в пороговых значениях до использования устаревших данных. Автор подчеркивает, что это не статистические проблемы, а фундаментальные ошибки измерения, когда программа дает внешне точный ответ на неверный вопрос. Классифицируя эти дефекты, отчет призван повысить надежность автоматизированных конвейеров оценки. Автор, разработчик инструмента Driftproof, призывает относиться к ПО для оценки с той же долей скептицизма, что и к любому научному прибору, проверяя, действительно ли код измеряет то, что заявлено в его результатах.