Janas: Запуск LLM, превышающих объем RAM, путем потоковой передачи экспертов с SSD

Janas — это новый проект с открытым исходным кодом, предназначенный для решения проблем с нехваткой оперативной памяти при запуске больших языковых моделей (LLM) на потребительском оборудовании. Используя метод потоковой передачи экспертов модели непосредственно с SSD, Janas позволяет запускать модели, объем которых превышает доступный объем RAM системы. Этот подход значительно снижает аппаратные требования для локального запуска ИИ, позволяя разработчикам и энтузиастам экспериментировать с моделями с большим количеством параметров на компьютерах с ограниченным объемом памяти. Проект использует эффективные методы извлечения данных для минимизации задержек во время потоковой передачи, обеспечивая приемлемую производительность для различных задач. Поскольку размеры LLM продолжают расти, инструменты, подобные Janas, предлагают практическое решение для локального развертывания, снижая зависимость от дорогостоящих GPU или больших объемов системной памяти. Проект доступен на GitHub для всех, кто интересуется эффективным выполнением ИИ.