Косинусное сходство показало 0.92. Полезная нагрузка была уже мертва.

Автор исследует критический разрыв между извлечением данных из памяти LLM-агента и фактическим изменением поведения, оспаривая распространенное мнение о том, что постоянная память автоматически приводит к «отравлению». Используя строгий инструментарий на основе контрфактической ампутации, исследование показывает, что даже при высоких показателях косинусного сходства (например, 0.92) полезная нагрузка может быть функционально инертной. В статье утверждается, что воспроизведение должно быть сосредоточено на сохранении причинно-следственного поведения, а не на простом сходстве представлений. Через эксперименты с локальными моделями автор демонстрирует, что многие сценарии «ИИ-червей» не вызывают измеримых поведенческих сдвигов при правильном инструментальном контроле. Публикация предлагает практические рекомендации для разработчиков, включая регистрацию извлечения данных как события, отслеживание ошибок парсинга как ключевых метрик и использование отрицательных контролей для установления уровня шума. В конечном итоге автор подчеркивает, что без причинно-следственного инструментария высокие показатели сходства могут вводить в заблуждение, скрывая неспособность полезной нагрузки влиять на действия агента.