Ваш ИИ-агент заявил, что отразил атаку. Я изучил исходный код 5 инструментов, проверяющих его на честность

ИИ-агенты становятся все более уязвимыми для атак типа prompt injection, способных обходить стандартные механизмы защиты. Анализ пяти инструментов безопасности с открытым исходным кодом — Promptfoo, OWASP ASRH, RAMPART, Pipelock и ConsequenceBench — выявил критический пробел: разрыв между заявлениями агента об отражении атаки и фактической проверкой побочных эффектов в реальных системах. Хотя такие инструменты, как Promptfoo, эффективны для тестирования перед развертыванием, а Pipelock обеспечивает принудительное исполнение правил во время выполнения, ни один из них пока не предлагает готового решения для независимой проверки реальных результатов. Автор подчеркивает, что текущая безопасность требует перехода от простого мониторинга вывода к независимой проверке побочных эффектов на уровне системы. Анализ показывает, что, несмотря на развитие экосистемы, задача верификации реальных действий в режиме реального времени остается открытой проблемой, требующей дальнейших разработок.