Создание готовых к эксплуатации AI-агентов с открытыми весами на базе Gemma, Google ADK и Cloud Run GPU

В статье представлен подробный план развертывания AI-агентов корпоративного уровня с использованием моделей Gemma с открытыми весами от Google. Автор описывает модульный подход к созданию, интеграции и масштабированию агентов в Google Cloud. Руководство охватывает критические требования к эксплуатации, включая привязку агентов к реальным корпоративным данным через Cloud Firestore, реализацию бессерверного масштабирования GPU с помощью vLLM на Cloud Run и обеспечение безопасности через защитные механизмы Model Armor. Проект под названием «CloudGuard» демонстрирует переход от локального прототипирования с Ollama к управляемой производственной среде. Ключевые функции включают автоматизированную оценку CI/CD с помощью Google Agent Development Kit (ADK), эффективную донастройку QLoRA на Vertex AI и мониторинг FinOps для ресурсов GPU. Используя эти инструменты, инженерные команды могут создавать безопасные и производительные AI-агенты, способные решать сложные задачи SecOps и FinOps, сохраняя при этом строгий суверенитет данных и операционный контроль.