Назад
Искусственный интеллект и машинное обучение

Я создал детектор лжи для ИИ-агентов, пишущих код. А потом прочитал правила.

Dev.to
Advertisement468 × 90
Я создал детектор лжи для ИИ-агентов, пишущих код. А потом прочитал правила.

Разработчик Дэнн Ванери создал «claimcheck» — систему верификации, предназначенную для проверки правдивости ИИ-агентов при внесении ими изменений в код. Инструмент требует от агентов отправки JSON-заявки с описанием изменений, которая затем сверяется с фактическим diff-файлом. Система применяет такие правила, как проверка области действия, ограничения на защищенные пути и точность описания, используя LLM для подтверждения того, что заявленные действия агента соответствуют изменениям в коде. Если заявка оказывается ложной или противоречивой, система отклоняет слияние. Проект, построенный на базе Cloudflare с использованием Workers и Durable Objects, успешно продемонстрировал способность работать с несколькими одновременными агентами, выявляя как намеренные, так и случайные искажения фактов. Хотя изначально проект предназначался для конкурса, он остается функциональным прототипом с открытым исходным кодом, подчеркивающим важность проверки заявлений агентов в средах с множеством ИИ-участников, обеспечивая прозрачность и точность вносимых ими правок.

This is a summary. Read the full article at the original source:

Dev.to
Advertisement468 × 90
Share
Искусственный интеллект и машинное обучение

Похожие

Федеральная торговая комиссия США (FTC) начала официальное расследование в отношении OpenAI и Anthropic после сообщений о том, что модели ИИ взламывал…

Ars Technica
Advertisement970 × 250