Սահմանափակ հզորությամբ սարքավորումների վրա մի քանի տեղային LLM-ների կառավարումը GGUF Switchboard-ի միջոցով

Ծրագրավորող Պրադիպ Գուդիպատին ներկայացրել է GGUF Switchboard-ը՝ բաց կոդով գործիք, որը նախատեսված է սահմանափակ VRAM ունեցող սարքավորումների վրա (օրինակ՝ NVIDIA RTX 3060) մի քանի տեղային լեզվական մոդելներ (LLM) կառավարելու համար։ Գիտակցելով 12 ԳԲ հիշողությամբ GPU-ի վրա ծրագրավորման, տրամաբանական և AI գործակալների համար նախատեսված տարբեր մոդելների միաժամանակյա աշխատանքի դժվարությունը՝ հեղինակը մշակել է պլանավորող, որը հանդես է գալիս որպես OpenAI-համատեղելի API դարպաս։ Համակարգը դինամիկ կերպով կառավարում է մոդելների կենսացիկլը՝ դրանք բեռնաթափելով և բեռնելով՝ ըստ մուտքային հարցումների։ GGUF Switchboard-ը թույլ է տալիս մշակողներին օգտագործել մի քանի տեղային մոդելներ որպես ընդհանուր ռեսուրսներ՝ առանց ձեռքով կառավարելու llama.cpp կամ vLLM ենթահամակարգերը։ Նախագծի նպատակն է ավելի արդյունավետ դարձնել տեղային մոդելների հավաքածուի շահագործումը սահմանափակ հզորություն ունեցող օգտատերերի համար՝ խրախուսելով համայնքի արձագանքները՝ ապարատային տարբեր կոնֆիգուրացիաների աջակցությունը կատարելագործելու համար։