Локальные нейросети без Python, CUDA и терминала: разработка Ollivo

Разработчик представил Ollivo — программу для запуска локальных нейросетей, которая исключает необходимость использования Python, CUDA или командной строки. Автор проекта делится опытом оптимизации работы моделей, отмечая, что использование Vulkan на видеокартах, таких как GTX 1080, может обеспечить прирост производительности в полтора раза по сравнению с CUDA. В процессе создания инструмента были выявлены интересные особенности поведения LLM, включая проблемы с генерацией текста в модели Qwen и специфические ошибки в логике работы компактных моделей. Ollivo ориентирована на упрощение процесса настройки нейросетей, делая технологию доступной для пользователей, не обладающих навыками программирования. Проект нацелен на автоматизацию конфигурации, позволяя запускать локальные модели без сложной подготовки окружения, что делает работу с современным ИИ более интуитивной и доступной для широкой аудитории.