RTK заявляет об экономии токенов, но наши бенчмарки показывают обратное

Команда Quesma опубликовала критический анализ заявлений об эффективности RTK (Retrieval-Augmented Tokenization) в процессах написания кода с помощью ИИ. В то время как сторонники RTK утверждают, что эта технология значительно снижает потребление токенов и связанные с этим расходы для больших языковых моделей, внутренние тесты Quesma показывают иные результаты. Проведя серию испытаний, авторы обнаружили, что реальная экономия затрат часто преувеличена или незначительна в зависимости от конкретной реализации и сложности кодовой базы. Статья подчеркивает важность строгого независимого тестирования при оценке инструментов оптимизации ИИ. Она предостерегает разработчиков и компании от внедрения новых фреймворков эффективности, основанных исключительно на метриках поставщиков. Вместо этого авторы выступают за прозрачные методологии бенчмаркинга, чтобы гарантировать, что архитектурные изменения действительно приносят обещанные экономические выгоды в производственных средах, не создавая излишней сложности без четкой финансовой отдачи.