Сайзинг RAM и vCPU для локальной языковой модели: считаем стартовый размер VM

Статья посвящена методологии подбора аппаратных ресурсов для развертывания локальных языковых моделей (LLM). Автор подчеркивает, что выбор конфигурации RAM и vCPU напрямую зависит от весов модели, профиля запросов, длины контекста и используемой стратегии offload. В материале приводится подход к расчету базовых требований на основе весов модели и формулы KV-кэша. Особое внимание уделяется важности проведения нагрузочного тестирования после первичной настройки: «прогретый» тест позволяет выявить реальное потребление памяти и определить предел производительности CPU. Данный гайд помогает инженерам избежать избыточного резервирования ресурсов и оптимизировать затраты при запуске self-hosted решений. Статья является полезным руководством для специалистов, занимающихся внедрением генеративного ИИ в корпоративную инфраструктуру, где критически важна стабильность и предсказуемость работы моделей.