Разработчик создал «Beatriz Epistemic Gate» для предотвращения отравления данных в LLM

Разработчик представил «Beatriz Epistemic Gate» — инструмент с открытым исходным кодом для обнаружения и предотвращения скрытого отравления данных при дообучении больших языковых моделей (LLM). Проект опровергает мнение о том, что исследования безопасности ИИ требуют дорогостоящей инфраструктуры, так как был создан с использованием ноутбука 2006 года и бесплатных облачных ресурсов. Инструмент работает как легкий защитный прокси-сервер, который проверяет данные на достоверность с помощью функции составных потерь. Протестированное на пяти архитектурах, включая Qwen-2.5 и Phi-3, решение показало высокую точность в выявлении вредоносных вмешательств, которые часто обходят стандартные метрики перплексии. Автор опубликовал первую часть проекта, включая техническую документацию, чтобы помочь независимым разработчикам и исследователям защитить свои рабочие процессы дообучения моделей от скрытых манипуляций с данными.