Скажите «пожалуйста» (хотя бы для напоминания)

В своей статье на Dev.to разработчик Билл Тарбокс анализирует ограничения промпт-инжиниринга в контексте безопасности LLM. Он утверждает, что системные промпты — это скорее вежливые просьбы, чем строгие контролирующие механизмы, сравнивая их с табличкой «Руками не трогать» в музее. Из-за вероятностной природы моделей, их можно обойти с помощью убедительного диалога. Тарбокс предлагает трехуровневый подход к безопасности: «вывеска» (системные промпты), «охрана» (внешние фильтры) и «стекло» (программная детерминированность). Автор подчеркивает, что разработчики не должны полагаться на промпты в критических вопросах безопасности. Вместо этого необходимо внедрять жесткие ограничения, такие как минимальные привилегии доступа и валидация данных. В конечном итоге, промпты полезны для настройки тона и поведения, но для обеспечения реальной безопасности разработчики должны полагаться на код, рассматривая промпты как пожелания, а программную логику — как незыблемый закон.