KV-փոխանցման տրանսպորտի ազդեցությունը PD-disaggregation-ի արդյունավետության վրա՝ MiniMax-M3 ինֆերենսի օրինակով

Habr-ի այս հոդվածում հեղինակը վերլուծում է տարբեր ցանցային արձանագրությունների ազդեցությունը մեծ լեզվական մոդելների ապակենտրոնացված ինֆերենսի (PD-disaggregation) արդյունավետության վրա: Հետազոտությունն իրականացվել է MiniMax-M3 մոդելի օրինակով՝ օգտագործելով երկու հանգույցից բաղկացած կլաստեր, որոնցից յուրաքանչյուրը հագեցած է ութ NVIDIA B200 GPU-ով: Հիմնական ուշադրությունը դարձվել է RDMA/InfiniBand-ի (GPUDirect-ի աջակցությամբ) և ստանդարտ TCP/Ethernet-ի արդյունավետության համեմատությանը՝ prefill և decode փուլերի ընթացքում հանգույցների միջև KV-քեշի փոխանցման ժամանակ: Փորձարարական մեթոդաբանությունը ներառում է վերլուծության չորս մակարդակ՝ ֆիզիկական ցանցային բնութագրերից մինչև sglang շարժիչի համալիր ցուցանիշներ: Ընդհանուր առմամբ վերլուծվել է 268 թեստային գործարկում, ինչը թույլ է տվել բացահայտել բաշխված ինֆերենսի ճարտարապետության կրիտիկական խոչընդոտները: Հետազոտության արդյունքները արժեքավոր տվյալներ են տրամադրում LLM ծառայությունների մասշտաբավորման ժամանակ ենթակառուցվածքների օպտիմալացման համար՝ ընդգծելով ցանցային տրանսպորտի ճիշտ ընտրության կարևորությունը հաշվարկային հանգույցների միջև համատեքստի փոխանցման ուշացումները նվազագույնի հասցնելու համար: