VRAM для локальных LLM: почему пропускная способность памяти определяет количество токенов в секунду

Для эффективной работы локальных больших языковых моделей (LLM) недостаточно просто большого объема VRAM; пропускная способность памяти является критическим фактором производительности. Поскольку LLM должны считывать весь набор весов из памяти для каждого генерируемого токена, ограничения пропускной способности часто определяют скорость инференса. Когда модели не помещаются в VRAM и выгружаются в системную оперативную память через PCIe, производительность падает до 20 раз. Автор подчеркивает, что при выборе оборудования для локального запуска следует отдавать предпочтение высокой пропускной способности памяти, а не вычислительной мощности. Подержанная RTX 3090 с 24 ГБ VRAM выделяется как экономичное решение для запуска моделей 32B с достаточным контекстом. В статье также приводится руководство по оценке потребностей в VRAM на основе размера модели и требований к KV-кэшу, предупреждая, что если модель «почти» помещается в VRAM, это приводит к серьезному снижению производительности. В конечном итоге автор предлагает сочетать локальное оборудование для повседневных задач с облачными API для сложных вычислений.