Я создал ИИ-агента, который мог вызывать API. А потом мне пришлось научить его, когда этого НЕ делать

Создание ИИ-агента, способного выполнять вызовы API, — задача несложная, но обеспечение безопасности этих действий требует серьезного инженерного подхода. Автор описывает свой опыт внедрения уровня разрешений, который предотвращает выполнение агентом несанкционированных или опасных операций. Отделяя выбор инструмента от авторизации, система рассматривает вывод модели как запрос, а не как команду. Такая архитектура включает детерминированный движок разрешений, проверяющий названия инструментов, аргументы и права доступа к ресурсам перед выполнением. Автор подчеркивает, что полагаться только на системные промпты для безопасности недостаточно из-за вероятностной природы LLM и рисков, таких как инъекции промптов. Вместо этого он выступает за явную проверку на основе кода, ведение журналов аудита и обязательное подтверждение человеком для критических операций, рассматривая ИИ-агентов как часть защищенной распределенной системы, работающей по принципу наименьших привилегий.