Janas. LLM-ների գործարկում RAM-ից մեծ ծավալով՝ SSD-ից փորձագետների հոսքային փոխանցման միջոցով
Janas-ը նոր բաց կոդով նախագիծ է, որը նախատեսված է լուծելու հիշողության այն սահմանափակումները, որոնք հաճախ առաջանում են սպառողական սարքավորումների վրա մեծ լեզվական մոդելներ (LLM) գործարկելիս: Կիրառելով տեխնիկա, որը մոդելի փորձագետներին հոսքային եղանակով փոխանցում է անմիջապես SSD-ից, Janas-ը թույլ է տալիս օգտատերերին գործարկել այնպիսի մոդելներ, որոնք գերազանցում են համակարգի RAM-ի հասանելի ծավալը: Այս մոտեցումը զգալիորեն նվազեցնում է սարքավորումների նկատմամբ պահանջները տեղային AI-ի համար՝ հնարավորություն տալով մշակողներին փորձարկել բարձր պարամետրերով մոդելներ սահմանափակ հիշողությամբ համակարգիչների վրա: Նախագիծը օգտագործում է տվյալների արդյունավետ որոնման մեթոդներ՝ հոսքային փոխանցման ընթացքում ուշացումները նվազագույնի հասցնելու համար: Քանի որ LLM-ների չափերը շարունակում են աճել, Janas-ի նման գործիքները գործնական լուծում են առաջարկում տեղային տեղակայման համար՝ նվազեցնելով կախվածությունը թանկարժեք GPU-ներից կամ հսկայական քանակությամբ օպերատիվ հիշողությունից:
This is a summary. Read the full article at the original source:
Hacker News (YC)Կապակցված
Հոդվածում քննարկվում է մարդ-համակարգիչ փոխազդեցության էվոլյուցիան՝ հրամանային տողից մինչև գրաֆիկական ինտերֆեյսներ, որոնք տեխնոլոգիաները հասանելի դարձր…
OpenAI-ի մաթեմատիկական մոտեցումը Ֆուրիեի արագ ձևափոխումների վերաբերյալ
Վերջին տեխնիկական վերլուծությունը ուսումնասիրում է OpenAI-ի կողմից ներկայացված մաթեմատիկական պնդումները Ֆուրիեի ձևափոխումների հաշվարկման նոր մեթոդի վե…
AI մոդելները կարող են ապացուցելիորեն թաքցնել կամայական հնարավորություններ
«AI մոդելները կարող են ապացուցելիորեն թաքցնել կամայական հնարավորություններ» վերնագրով վերջին գիտական աշխատանքը ուսումնասիրում է առաջադեմ մեքենայական ո…