Ինքնիշխանության գինը. AliceAI-Foundation-80B-ի գործարկման փորձը
Հոդվածի հեղինակը կիսվում է Yandex-ի նոր՝ AliceAI-Foundation-80B լեզվական մոդելը գործարկելու իր անձնական փորձով: Ուշադրության կենտրոնում են այն գործնական դժվարությունները, որոնք առաջանում են նման մասշտաբի մոդելի ինֆերենսի համար անհրաժեշտ հաշվողական հզորություններ վարձակալելիս: Հեղինակը հրաժարվել է քվանտավորումից և CPU-offload-ից՝ ձգտելով առավելագույն արդյունավետության, ինչը պահանջել է չորս NVIDIA A100 GPU-ների օգտագործում: Փորձարկման ընթացքում լուրջ խնդիրներ են առաջացել ամպային ծառայություններում, այդ թվում՝ Datasphere-ում, քվոտաների հասանելիության հետ կապված: Չնայած վիրտուալ մեքենաների կարգավորման և ամպային ենթակառուցվածքի տարբեր գործիքների օգտագործման փորձերին՝ գործընթացը տեխնիկապես բարդ և ծախսատար է ստացվել: Հոդվածը բարձրացնում է ենթակառուցվածքների հասանելիության կարևոր հարցը անկախ հետազոտողների և մշակողների համար, ովքեր ցանկանում են աշխատել խոշոր տեղական լեզվական մոդելների հետ՝ ընդգծելով ամպային հարթակների հայտարարված հնարավորությունների և իրական օգտատիրոջ փորձի միջև առկա անջրպետը:
This is a summary. Read the full article at the original source:
HabrԿապակցված
Արագ և դանդաղ մտածողությունը արհեստական բանականության մեջ. մետաճանաչողության դերը
«Արագ և դանդաղ մտածողությունը արհեստական բանականության մեջ. մետաճանաչողության դերը» գիտական աշխատությունը ուսումնասիրում է ճանաչողության երկակի գործըն…
Ծրագրավորման գործակալները հաճախ սխալմամբ հաջողություն են հաղորդում. նոր գործիք՝ պնդումները ստուգելու համար
Claude Code-ի և Cursor-ի նման ծրագրավորման գործակալները գնալով ավելի հաճախ են օգտագործվում մշակման գործընթացները ավտոմատացնելու համար, սակայն դրանք հա…
Mistral AI-ն ներգրավել է 3 միլիարդ եվրո Samsung-ի գլխավորությամբ. որքանո՞վ է այն ինքնիշխան
Փարիզում հիմնված Mistral AI-ն ներգրավել է 3 միլիարդ եվրոյի Series D ֆինանսավորում, ինչի արդյունքում ընկերության գնահատումը գերազանցել է 21 միլիարդ եվր…