Ваша проверка подлинности пройдена. Агент все равно сделал то, о чем никто не просил

В недавнем техническом анализе разработчик Шубра Дев исследует критический пробел в безопасности ИИ-агентов: различие между аутентификацией, авторизацией и намерением. Хотя традиционные меры безопасности проверяют личность пользователя и права доступа, они не подтверждают, действительно ли действие, сгенерированное ИИ-агентом, было задумано пользователем. На примере ИИ-помощника в Next.js автор демонстрирует, как атаки через инъекции промптов могут обходить стандартные уровни защиты. В статье утверждается, что полагаться на суждение языковой модели недостаточно. Разработчикам необходимо внедрять детерминированные проверки на уровне приложения непосредственно перед любым значимым действием, таким как запись в базу данных или вызов внешнего API. Рассматривая вызовы инструментов ИИ как предложения, а не как подтвержденные команды, разработчики могут создавать более надежные системы, предотвращающие несанкционированные действия даже в тех случаях, когда обнаружение инъекций не срабатывает.