Сколько стоит суверенитет: опыт запуска AliceAI-Foundation-80B

Автор статьи делится личным опытом попытки запуска новой языковой модели AliceAI-Foundation-80B от Яндекса. В центре внимания — практические сложности аренды вычислительных мощностей, необходимых для инференса модели такого масштаба. Автор отказался от квантования и CPU-offload, стремясь к максимальной производительности, что потребовало использования четырех GPU NVIDIA A100. В процессе тестирования возникли серьезные проблемы с доступностью квот в облачных сервисах, включая Datasphere. Несмотря на попытки настройки виртуальных машин и использования различных инструментов облачной инфраструктуры, процесс оказался технически сложным и затратным. Статья поднимает важный вопрос о доступности инфраструктуры для независимых исследователей и разработчиков, желающих работать с крупными локальными языковыми моделями, подчеркивая разрыв между заявленными возможностями облачных платформ и реальным пользовательским опытом при попытке развертывания тяжелых AI-решений.