Инференс Gemma 4 на AWS: Bedrock, SageMaker, GPU, Inferentia и Trainium под управлением одного агента Strands

В этой статье представлен всесторонний обзор производительности инференса модели Gemma 4 в шести различных средах AWS. Автор использует единого агента «Strands» для тестирования Amazon Bedrock, конечных точек SageMaker в реальном времени, vLLM на инстансах EC2 GPU (g6 и g5g), а также специально портированных моделей на чипах AWS Inferentia2 и Trainium. Стандартизируя промпты и скрипты измерений, исследование подчеркивает практические различия в настройке, задержке и пропускной способности между этими бэкендами. Основные выводы показывают, что, хотя управляемые сервисы, такие как Bedrock, предлагают простоту использования, самостоятельный хостинг на специализированном оборудовании, таком как Trainium, обеспечивает конкурентоспособную производительность при правильной настройке. Автор также делится техническими советами по управлению мощностями AWS, настройке переадресации портов через SSM и преодолению специфических трудностей при развертывании моделей на ускорителях Neuron. Это руководство служит практической дорожной картой для разработчиков, стремящихся оптимизировать стратегии развертывания LLM в инфраструктуре AWS.