Преодоление 1.58-битного барьера для тернарных LLM

Исследователи представили новый подход к тернарным большим языковым моделям (LLM), успешно преодолевающий традиционный 1.58-битный барьер квантования. Оптимизируя распределение весов и функции активации, исследование демонстрирует, что тернарные модели, использующие только три значения (-1, 0, 1), могут достигать уровня производительности, сопоставимого с полноточными моделями, при значительном снижении требований к памяти и вычислительным ресурсам. Этот прорыв решает проблему потери информации, обычно связанную с экстремальным квантованием, предлагая путь к развертыванию высокопроизводительных ИИ-моделей на оборудовании с ограниченными ресурсами. Методология фокусируется на минимизации ошибки квантования на этапе обучения, что позволяет проводить более эффективный вывод без потери точности. Данная разработка является важной вехой в области сжатия моделей, потенциально позволяя интегрировать сложные LLM в периферийные устройства, смартфоны и встроенные системы, где энергоэффективность и объем памяти являются критическими ограничениями для современных приложений искусственного интеллекта.