Комплексный анализ: Фаза калибровки (EXP01–07) – Создание эпистемического шлюза для LLM

Разработчик Эдуардо Айала представил подробный технический разбор своего проекта «Beatriz» – эпистемического шлюза, предназначенного для предотвращения отравления данных при дообучении LLM. В течение 17 дней Айала провел 16 экспериментов, чтобы усовершенствовать механизм, различающий истинную и ложную информацию. Ключевая инновация заключается в векторном шлюзе, использующем семантическую геометрию вместо простого лексического сопоставления, в сочетании с ограниченной функцией потерь Softplus для предотвращения деградации модели. Сравнение различных конфигураций показало, что архитектурные решения, такие как внедрение LoRA, оказались более эффективными для контроля перплексии, чем методы, основанные на эталонных потерях. Проект, разработанный на устаревшем оборудовании, теперь доступен с открытым исходным кодом, предлагая прозрачный подход к созданию более надежных конвейеров дообучения для больших языковых моделей.