Speculative Decoding-ը vLLM-ում AMD GPU-ների համար
vLLM նախագիծը հայտարարել է AMD GPU-ների վրա speculative decoding-ի պաշտոնական աջակցության մասին, ինչը կարևոր քայլ է բաց կոդով լեզվական մոդելների (LLM) ինֆերենսի համար: Speculative decoding-ը տեխնիկա է, որը նախատեսված է արագացնելու LLM-ների աշխատանքը՝ օգտագործելով ավելի փոքր և արագ մոդել՝ հաջորդականությունները կանխատեսելու համար, որոնք այնուհետև ստուգվում են հիմնական մոդելի կողմից: Այս օպտիմալացումը AMD-ի ROCm էկոհամակարգին հարմարեցնելով՝ vLLM-ը թույլ է տալիս մշակողներին հասնել ավելի բարձր արդյունավետության և ցածր ուշացման՝ ոչ NVIDIA սարքավորումների վրա: Այս թարմացումը լրացնում է AI ենթակառուցվածքների կարևոր բացը՝ հնարավորություն տալով ավելի արդյունավետ կերպով տեղակայել գեներատիվ AI մոդելները AMD-ի հիմքով կլաստերներում: Այս զարգացումը կընդլայնի բարձր արդյունավետությամբ AI գործիքների հասանելիությունը այն հետազոտողների և ձեռնարկությունների համար, որոնք օգտագործում են տարբեր սարքավորումային լուծումներ:
This is a summary. Read the full article at the original source:
Hacker News (YC)Կապակցված
Meta-ի նոր AI գործակալը ցանկանում է ավելի անձնական դառնալ ձեզ համար
Meta-ն ներկայացրել է իր վերջին նորարարությունը՝ Muse AI գործակալը, որը նախատեսված է որպես օգտատերերի համար խիստ անհատականացված օգնական հանդես գալու հա…
Ի՞նչ է կատարվում OpenAI-ի և Նավիե-Ստոքսի հավասարումների շուրջ ծագած վեճի հետ
OpenAI-ը վերջերս հայտարարել է մաթեմատիկայի ոլորտում նշանակալի առաջընթացի մասին, որը վերաբերում է Նավիե-Ստոքսի հավասարումներին, որոնք նկարագրում են հեղ…
Խոշոր լեզվական մոդելները մշակում են նոր սոցիալական կողմնակալություններ՝ ադապտիվ ուսուցման միջոցով
OpenReview-ում հրապարակված վերջին գիտական աշխատանքը ուսումնասիրում է, թե ինչպես կարող են խոշոր լեզվական մոդելները (LLM) ձեռք բերել և դրսևորել նոր սոցի…