Кластер ESP32S3, работающий с 1.58-битной (BitNet) языковой моделью

Новый проект с открытым исходным кодом демонстрирует возможность запуска высококвантованных языковых моделей на оборудовании с ограниченными ресурсами. Используя кластер микроконтроллеров ESP32S3, проект реализует архитектуру 1.58-битной (BitNet) большой языковой модели (LLM). Этот подход значительно снижает вычислительные затраты и требования к памяти, обычно необходимые для инференса LLM, позволяя развертывать генеративные модели ИИ на маломощных периферийных устройствах. Проект подчеркивает растущую тенденцию оптимизации моделей ИИ для встраиваемых систем, отходя от требований к мощным GPU в сторону распределенных и эффективных аппаратных кластеров. Данная реализация служит доказательством концепции для разработчиков, интересующихся периферийным ИИ, демонстрируя, как оптимизация на уровне битов может позволить выполнять сложные задачи машинного обучения на недорогих и широко доступных микроконтроллерах. Исходный код и документация доступны на GitHub для тех, кто хочет воспроизвести или расширить эту архитектуру распределенного инференса.