Маленькая модель. Большие решения. Как я создал модель принятия решений на 144 млн параметров, которая снимает 82% нагрузки с LLM

Разработчик Перри Линк представил Phocinae-Largha-150M-v1 — специализированную модель на 144 миллиона параметров, предназначенную для обработки рутинных задач принятия решений для ИИ-агентов. В отличие от генеративных моделей, эта модель на базе энкодера фокусируется на типизированных ответах, обеспечивая детерминированные результаты с низкой задержкой (18,6 мс на GPU). Выступая в роли «шлюза», модель локально обрабатывает стандартные запросы, перенаправляя только неоднозначные случаи к более крупным и дорогим LLM. Такой подход позволил сократить количество вызовов LLM API на 82% при сохранении высокой точности. Проект имеет открытый исходный код (Apache-2.0) и делает упор на прозрачность метрик, таких как калибровка и стабильность выбора. Решение предназначено для разработчиков, стремящихся оптимизировать агентские рабочие процессы, перенося простую, повторяющуюся логику с тяжелых генеративных моделей на легкую и эффективную альтернативу.