Я обучил собственную визуально-языковую модель меньше чем на 1 млрд параметров

В статье на Habr автор делится опытом создания компактной визуально-языковой модели (VLM) с нуля при ограниченном бюджете. Используя одну арендованную GPU, разработчик объединил небольшую языковую модель с визуальным энкодером. Процесс охватил все этапы: от проектирования архитектуры до обучения и оценки качества. Итоговая модель с 628 млн параметров способна описывать изображения, а общая стоимость эксперимента составила около 200 долларов. Автор подробно разбирает технические решения, допущенные ошибки при первых запусках и итоговую производительность системы. Этот проект демонстрирует, что современные методы обучения нейросетей позволяют создавать эффективные мультимодальные решения даже индивидуальным разработчикам с ограниченными ресурсами. Статья будет полезна тем, кто интересуется практическим применением LLM и компьютерного зрения, а также хочет понять, как оптимизировать процесс обучения нейросетей для работы на доступном оборудовании.