Сжатие контекста для ИИ-агентов: почему сжимают не ту часть промпта

Новое исследование Пекинского университета, посвященное «дистилляции контекста» для ИИ-агентов, указывает на критическую ошибку в методах сжатия данных. Исследователи утверждают, что сжатие всей истории взаимодействия, включая собственные действия и рассуждения агента, в латентные векторы приводит к деградации поведения и синтаксическим ошибкам. Авторы предлагают метод LOHA (Latent Observations, Hard Actions), который сохраняет действия агента и недавние выводы инструментов в исходном текстовом виде, сжимая только старые данные среды. Тестирование на бенчмарке SWE-bench Verified показало, что такой подход значительно повышает эффективность решения задач и экономию памяти по сравнению со стандартным усечением. Результаты доказывают, что для поддержания производительности разработчикам следует оставлять «черновик» и историю вызовов инструментов агента в несжатом виде, применяя сжатие с потерями только к историческим данным окружения.