Мы дали ИИ-агентам реальные инструменты, а затем поняли, что «спрашивать перед действием» недостаточно

По мере того как ИИ-агенты получают возможность взаимодействовать с реальными инструментами — изменять базы данных, отправлять сообщения или запускать рабочие процессы, — традиционный подход безопасности, основанный на простом запросе к модели «спросить перед действием», оказался недостаточным. Автор утверждает, что полагаться на модель в определении собственных полномочий опасно, так как ИИ может неверно оценить важность задачи. Вместо этого разработчикам следует внедрить строгую архитектурную сепарацию: ИИ предлагает действие, но детерминированная системная политика решает, требуется ли одобрение человека, основываясь на классификации (чтение, запись или деструктивные действия). Внедряя разрешения, ограниченные конкретной задачей, журналы аудита и механизмы безопасности, разработчики могут создавать более надежные агентные системы. В конечном итоге, управление правами доступа должно стать не просто подсказкой в промпте, а фундаментальным компонентом программной архитектуры.