Xiaomi MiMo: триллион параметров, из которых работает четыре процента

Компания Xiaomi представила семейство языковых моделей MiMo, охватывающее широкий спектр конфигураций: от компактных моделей с 7 миллиардами параметров до масштабного решения с архитектурой Mixture of Experts (MoE), насчитывающего один триллион параметров. Ключевой особенностью анонса стала высокая эффективность использования вычислительных ресурсов: несмотря на колоссальный общий объем параметров, в процессе генерации текста задействуется лишь около четырех процентов из них. Такой подход позволяет значительно ускорить работу модели и снизить требования к «железу» без существенной потери качества ответов. Эксперты отмечают, что использование разреженных архитектур (sparse models) становится новым стандартом в индустрии, позволяя компаниям масштабировать возможности ИИ до триллионных значений, сохраняя при этом приемлемую скорость инференса. Данная разработка подчеркивает стремление Xiaomi укрепить свои позиции в сфере генеративного искусственного интеллекта, предлагая гибкие инструменты для различных задач.