Создание Sarrera: Self-hosted корпоративный AI-шлюз с RBAC, квотами на токены и телеметрией

Sarrera — это новый open-source корпоративный AI-шлюз с возможностью самостоятельного хостинга, предназначенный для управления частными AI-развертываниями. Решая такие проблемы, как конфиденциальность данных, неконтролируемые расходы на облачные сервисы и фрагментация оборудования, Sarrera предоставляет единую платформу для управления локальной AI-инфраструктурой. Система, построенная на базе Docker Compose, включает LiteLLM для маршрутизации, Caddy для безопасного доступа, Langfuse для наблюдаемости и Open WebUI для взаимодействия. Платформа позволяет организациям устанавливать многоуровневые квоты подписки, внедрять контроль доступа на основе ролей (RBAC) и выполнять интеллектуальную балансировку нагрузки между гетерогенными кластерами GPU и CPU. Отделяя клиентские IDE от физического оборудования, Sarrera помогает командам контролировать использование токенов и расходы, обеспечивая при этом соблюдение требований безопасности. Проект доступен на GitHub и предлагает упрощенный процесс развертывания для создания масштабируемого и наблюдаемого AI-хаба менее чем за пять минут.