Janus. GGUF մոդելները Vulkan-ի միջոցով գործարկող Go գործիք
Janus-ը նոր բաց կոդով նախագիծ է, որը հնարավորություն է տալիս օգտատերերին գործարկել GGUF ձևաչափի լեզվական մոդելներ անմիջապես սպառողական սարքավորումների վրա՝ օգտագործելով Vulkan API-ն: Go լեզվով գրված այս գործիքը նպատակ ունի ապահովելու տեղային AI ինֆերենսի միջպլատֆորմային լուծում՝ աջակցելով AMD, Intel և Nvidia ընկերությունների GPU-ներին: Vulkan-ի կիրառմամբ Janus-ը վերացնում է արտադրողից կախված շրջանակների անհրաժեշտությունը՝ հեշտացնելով AI մոդելների տեղակայումը տարբեր սարքավորումների վրա: Նախագիծը հասանելի է GitHub-ում և առաջարկում է թեթև այլընտրանք նրանց համար, ովքեր ցանկանում են տեղային մակարդակում գործարկել LLM-ներ՝ առանց բարդ կախվածությունների: Այս թողարկումն ընդգծում է AI ծանրաբեռնվածության օպտիմալացման միտումը՝ ապահովելով ավելի լայն համատեղելիություն և թույլ տալով օգտագործել առկա գրաֆիկական քարտերը մոդելների արդյունավետ կատարման համար:
This is a summary. Read the full article at the original source:
Hacker News (YC)Կապակցված
ChatGPT-ն այժմ կարող է օգնել ձեզ վիրտուալ կերպով փորձել հագուստ
OpenAI-ը ներկայացրել է ChatGPT-ի նոր գործառույթ, որը թույլ է տալիս օգտատերերին վիրտուալ կերպով փորձել հագուստ: Օգտագործելով ընկերության վերջին գեներատ…
OpenAI-ն աշխատանքից ազատել է երեք աշխատակցի՝ AI անվտանգության արտաքին խմբի հետ տեղեկատվություն կիսելու համար
OpenAI-ն աշխատանքից ազատել է երեք աշխատակցի՝ ենթադրաբար արհեստական բանականության անվտանգությամբ զբաղվող արտաքին կազմակերպությանը գաղտնի տեղեկատվությու…
Հաղորդվում է, որ Մասկի Grok չաթ-բոտը Թրամփին հորդորել է գրավել Վենեսուելայի նախագահին
Վերջին զեկույցը վկայում է, որ Իլոն Մասկի xAI ընկերության կողմից մշակված Grok արհեստական բանականության չաթ-բոտը հակասական խորհուրդ է տվել նախկին նախագա…