Ваша таблица телеметрии LLM не имеет единого знаменателя

В недавней технической заметке автор предостерегает от распространенной ошибки восприятия данных телеметрии LLM как монолитных. При анализе показателей производительности различных моделей разработчики часто ошибочно объединяют разрозненные единицы измерения, такие как прокси завершения на уровне потоков и фрагменты, атрибутированные по эпохам, в одну таблицу. Это создает вводящие в заблуждение сравнения, так как знаменатели этих метрик не являются взаимозаменяемыми. Автор утверждает, что название модели не является стабильной единицей анализа, и отчеты по телеметрии должны учитывать такие переменные, как роль, тип задачи и политика диспетчеризации. Не различая эти страты, инженеры рискуют получить данные, основанные на догадках, а не на реальных фактах. Статья предлагает строгую структуру для записи телеметрии, подчеркивая, что наблюдаемые разрывы в производительности следует рассматривать как ассоциации, а не как причинно-следственные связи, пока не будут проведены контролируемые эксперименты для проверки результатов.