CMF: решения за миллисекунды без генерации токенов с открытыми весами

Представлена CMF — локальная модель для быстрого принятия решений, работающая без генерации токенов, что делает её аналогом системы Jev. Основная задача CMF заключается в классификации запросов и принятии решений с минимальной задержкой. Модель способна определять уровень своей уверенности: при низких показателях она перенаправляет запрос «оракулу» (внешней модели), после чего обучается на полученном ответе для будущих итераций. В статье подробно рассматривается архитектура CMF, сравнение с аналогами Laya и Jev, а также возможности запуска через CLI и API. Особое внимание уделено оптимизации производительности: при использовании оборудования RTX PRO 4000 Blackwell медианная задержка составила около 1,1–1,2 мс. Также реализована поддержка Apple Metal и Vulkan, что расширяет возможности развертывания модели на различных аппаратных платформах.