Я продаю API памяти и создаю бенчмарк. Вот как я пытаюсь избежать подтасовок

Разработчик из Wontopos по имени Woochan представил новый прозрачный бенчмарк для оценки возможностей памяти LLM. Проект призван решить проблему недоверия к метрикам производительности, публикуемым вендорами, предлагая справедливый и воспроизводимый стандарт. Бенчмарк использует корпус объемом 1,9 млн токенов и тестирует модели по 14 направлениям, включая работу с устаревшими фактами, противоречиями и многоязычный поиск. Чтобы исключить предвзятость, проект выпущен с открытым исходным кодом под лицензией Apache 2.0, а автор ввел строгие правила, такие как обязательная публикация результатов по каждому вопросу и независимая верификация. Также предложен нюансированный подход к измерению задержки, отделяющий сетевые издержки от реальной вычислительной мощности. Делая ставку на прозрачность и проверку сообществом, автор стремится предоставить разработчикам надежный инструмент для сравнения API памяти, свободный от влияния потенциально сфабрикованных маркетинговых заявлений.