Скрытые налоги ИИ, основанного только на промптах

В восьмой части серии статей о создании стека памяти ИИ Кен Уолгер исследует архитектурные издержки, связанные с использованием исключительно больших промптов для контекста. Уолгер утверждает, что отношение к контекстным окнам как к бесконечной памяти ведет к «архитектурным налогам» — предсказуемым затратам в виде задержек, вычислительных мощностей и внимания модели. Он выделяет пять ключевых налогов: на прозу, на контекст, на поиск, на наблюдателя и на ввод данных. Каждый из них представляет собой компромисс в способах хранения, передачи и проверки информации. Вместо простого расширения промптов автор призывает к более дисциплинированному подходу к инфраструктуре памяти, подчеркивая, что хранение и коммуникация — это разные задачи. Оптимизируя структуру данных, разработчики могут снизить избыточные накладные расходы. Цель состоит не в устранении всех затрат, а в их правильном распределении, чтобы ресурсы тратились на обеспечение целостности и объяснимости системы, а не на обработку информационного шума.