Тонкая настройка Qwen3-8B с помощью Tinker: от 50% до 76% точности и потраченный бюджет

Разработчик Gramli делится опытом участия в конкурсе Hacktoberfest Open-Source AI, представив инструмент «Complexity Scorer» для оптимизации расходов на AI API. Путем тонкой настройки модели Qwen3-8B на платформе Tinker проект классифицирует сложность запросов, позволяя приложениям направлять простые задачи на более дешевые модели. Автор подробно описывает технический путь, включая выбор архитектуры и проблемы генерации наборов данных. Примечательно, что случайная ошибка конфигурации привела к неожиданному росту затрат на обучение, что подчеркивает риски при работе с автоматизированными агентами. Несмотря на трудности, итоговая модель достигла точности 76% в классификации сложности запросов. Проект является открытым, а дообученный адаптер доступен на Hugging Face, что позволяет разработчикам экспериментировать с локальным запуском моделей и снижать зависимость от дорогостоящих проприетарных AI-провайдеров.