Ի՞նչ է LLM-ի ինֆերենսում նախնական լրացման (prefill) և վերծանման (decode) տարանջատումը

LLM-ի ինֆերենսը բաղկացած է երկու հիմնական փուլից՝ նախնական լրացում (prefill), որը կախված է հաշվողական հզորությունից և որոշում է առաջին թոքենի ստացման ժամանակը (TTFT), և վերծանում (decode), որը կախված է հիշողության թողունակությունից և որոշում է թոքենների միջև ընկած ուշացումը (ITL): Ավանդաբար, այս փուլերը կատարվում են նույն GPU-ների վրա, ինչը հանգեցնում է ռեսուրսների մրցակցության և ուշացումների: Հոդվածը քննարկում է տարանջատված սպասարկման (disaggregated serving) հայեցակարգը, որտեղ prefill և decode գործընթացները տեղափոխվում են առանձին GPU-ների խմբեր: Այս մոտեցումը թույլ է տալիս օպտիմալացնել յուրաքանչյուր փուլը առանձին՝ բարելավելով արտադրողականությունը բարձր ծանրաբեռնվածության դեպքում: Թեև այս ճարտարապետությունը պահանջում է KV քեշի արդյունավետ փոխանցում, այն դարձել է արդյունաբերական ստանդարտ: Հոդվածում նշվում է, թե ինչպես են DigitalOcean-ի նման ծառայությունները օգտագործում այս մեթոդը՝ ապահովելու սպասարկման որակի խիստ պահանջները (SLO):