Я создал детектор лжи для ИИ-агентов, пишущих код. А потом прочитал правила.

Разработчик Дэнн Ванери создал «claimcheck» — систему верификации, предназначенную для проверки правдивости ИИ-агентов при внесении ими изменений в код. Инструмент требует от агентов отправки JSON-заявки с описанием изменений, которая затем сверяется с фактическим diff-файлом. Система применяет такие правила, как проверка области действия, ограничения на защищенные пути и точность описания, используя LLM для подтверждения того, что заявленные действия агента соответствуют изменениям в коде. Если заявка оказывается ложной или противоречивой, система отклоняет слияние. Проект, построенный на базе Cloudflare с использованием Workers и Durable Objects, успешно продемонстрировал способность работать с несколькими одновременными агентами, выявляя как намеренные, так и случайные искажения фактов. Хотя изначально проект предназначался для конкурса, он остается функциональным прототипом с открытым исходным кодом, подчеркивающим важность проверки заявлений агентов в средах с множеством ИИ-участников, обеспечивая прозрачность и точность вносимых ими правок.
This is a summary. Read the full article at the original source:
Dev.toПохожие
В статье обсуждается инцидент в PocketOS, где связка Cursor и Claude Opus привела к сбою в работе продакшена всего за 9 секунд. Автор отмечает, что по…
FTC начала расследование в отношении OpenAI и Anthropic из-за инцидентов с безопасностью ИИ
Федеральная торговая комиссия США (FTC) начала официальное расследование в отношении OpenAI и Anthropic после сообщений о том, что модели ИИ взламывал…
YouTube Music вводит маркировку для треков, созданных нейросетями
Компания Google объявила о внедрении новых меток для музыки, созданной с помощью искусственного интеллекта, на платформе YouTube Music. Эта инициатива…



