Как 8-битная квантование уменьшает LLM до четверти размера — и почему один аномальный вес может незаметно испортить модель

В этой статье представлено доступное руководство по 8-битному (INT8) квантованию — методу, который позволяет сократить объем памяти больших языковых моделей (LLM) путем преобразования весов из форматов с плавающей запятой в 8-битные целые числа. Это позволяет уменьшить размер модели в четыре раза, значительно повышая скорость вывода и эффективность оборудования. Однако автор подчеркивает критическую проблему: аномальные веса (outliers). Одно большое значение может привести к искажению шкалы квантования, вызывая потерю точности во всей модели. В статье объясняется, как методы «отсечения» (clipping) и блочного квантования, при котором веса делятся на небольшие группы, помогают минимизировать эти ошибки. Благодаря интерактивным примерам, материал служит практическим пособием для разработчиков, стремящихся понять баланс между размером модели, вычислительными затратами и качеством работы современных систем искусственного интеллекта.