Я поместил Jev под спецификацию TLA+ и прогнал 1680 хаос-тестируемых фармацевтических решений. Ноль неверных вердиктов.

Разработчик продемонстрировал строгий подход к проверке принятия решений на базе ИИ в критически важных средах, таких как фармацевтические системы. Используя Jev, языковую модель, выдающую вероятности вместо текста, автор создал систему, в которой консенсус может быть проверен на уровне модели. Применив спецификацию TLA+ для определения инвариантов безопасности и политики кворума, автор построил ядро на языке Rust, которое рассматривает ИИ как зашумленный оракул. Система прошла 1680 симулированных фармацевтических решений в условиях интенсивного хаос-тестирования, включая состязательные входные данные и системные сбои. Результаты показали ноль неверных вердиктов, при этом система корректно передавала неоднозначные случаи фармацевтам-людям. Этот проект подчеркивает важность измерения «уровня шума» моделей ИИ и использования формальных методов для обеспечения надежности, доказывая, что, хотя ИИ может быть непредсказуемым, протоколы вокруг него могут быть спроектированы для обеспечения безопасности.
This is a summary. Read the full article at the original source:
Dev.toПохожие
Как ИИ-агенты могут привести к неконтролируемым расходам для предприятий
По мере того как предприятия все чаще внедряют автономных ИИ-агентов в свои рабочие процессы, возникает значительный финансовый риск: неконтролируемое…
Чтобы остановить неконтролируемые угрозы ИИ, нужно больше, чем просто разговоры о P(doom)
В своей гостевой колонке для CNET автор Джейми Бартлетт исследует растущие риски, связанные с передовым искусственным интеллектом. Бартлетт утверждает…
OpenAI формирует математическую консультативную группу, так как её ИИ решил более 100 открытых задач
OpenAI официально создала специализированную математическую консультативную группу для контроля за исследованиями в области продвинутого ИИ-мышления.…



