AI-агент использует панель из нескольких моделей для предотвращения самоодобрения уязвимостей

Разработчик внедрил строгий протокол безопасности для своего AI-агента, требующий, чтобы любые изменения в защитных механизмах проверялись группой из четырех конкурирующих моделей ИИ. Система работает по принципу «одного несогласного»: если хотя бы одна модель указывает на риск, изменение отклоняется, независимо от того, сколько других моделей его одобрили. В недавнем тесте этот метод успешно выявил повторяющуюся уязвимость, которую неоднократно пропускали две из трех активных моделей. Разработчик утверждает, что полагаться на голосование большинства при проверке ИИ ошибочно, так как модели часто имеют коррелирующие «слепые зоны». Отдавая приоритет одному обоснованному возражению перед консенсусом, система эффективно обнаруживает ошибки, которые в противном случае остались бы незамеченными. Этот подход подчеркивает важность многомодельной верификации в автономных системах, гарантируя, что AI-агенты не смогут непреднамеренно обойти собственные ограничения безопасности.