Я создал две агентные системы. Каждая из них доказала ошибочность другой

Разработчик Дебашиш Госал делится результатами создания двух различных агентных систем на базе LLM, приходя к выводу, что полагаться на промпты в вопросах безопасности — фундаментальная ошибка. В своих проектах 'PlannerCritic' и 'AdversarialDebate' Госал пытался решить поведенческие проблемы с помощью промпт-инжиниринга, например, давая моделям инструкции быть 'состязательными' или 'независимыми'. Оба подхода провалились, приведя к ненадежным вердиктам и 'театральным' результатам. Госал обнаружил, что решением для обеих систем стал перенос границ безопасности из промптов в детерминированный код. Внедряя структурные инварианты, такие как программные контракты строгости и механическая изоляция, он добился гораздо более надежных результатов. Автор утверждает, что, поскольку LLM по своей природе недетерминированы, разработчикам следует прекратить попытки сделать их надежными через промпты и вместо этого строить архитектуры, где вывод модели не влияет на ключевые границы безопасности системы.