«Давайте просто развернём свою LLM на 1Т параметров»: что пришлось построить вокруг неё в Битрикс24

В статье рассматриваются технические и архитектурные вызовы, с которыми столкнулась команда Битрикс24 при внедрении крупной языковой модели (LLM) с 1 триллионом параметров в свою экосистему. Автор подчеркивает, что фраза «просто развернуть» скрывает за собой сложную инженерную работу по управлению инфраструктурой. Основное внимание уделяется вопросам распределения вычислительных мощностей между различными сервисами, такими как чаты, обработка длинных документов и работа ИИ-агентов. Также обсуждаются методы оптимизации ресурсов в периоды низкой нагрузки, стратегии приоритизации запросов и системы тестирования, гарантирующие, что обновления модели не ухудшают качество ответов. Статья основана на докладе с конференции Saint HighLoad++ и предлагает системный взгляд на построение масштабируемой платформы для работы с генеративным ИИ в рамках крупного корпоративного продукта.