Я дистиллировал модель 397B в 4B за $1.60. Теперь она ловит 28 из 33 предупреждений парков, которые должны остановить ваш поход.

Разработчик Соумья Дэй продемонстрировал экономичный метод дистилляции больших языковых моделей, успешно сжав возможности модели с 397 млрд параметров до версии с 4 млрд параметров всего за 1,60 доллара. Проект под названием «TrailTruth» использует подход тонкой настройки LoRA на базе Qwen3.5-4B для анализа уведомлений Службы национальных парков. Обучив меньшую модель на метках, созданных более крупной моделью-учителем и скорректированных по официальным категориям рейнджеров, модель 4B значительно улучшила свои показатели в выявлении критических закрытий троп. Она успешно распознала 28 из 33 запрещающих уведомлений по сравнению с 17 у базовой модели. Система работает как еженедельный автоматизированный рабочий процесс, создающий простую карточку для туристов, помогая им избежать ненужных рисков без необходимости разбирать тысячи слов правительственных уведомлений. Проект полностью открыт, что подчеркивает эффективность небольших специализированных моделей в реальных задачах.