LLM-ները չեն աշխատում մեկ տեսաքարտի վրա. 2026 թվականի AI ենթակառուցվածքի անատոմիան
Habr-ի այս հոդվածը մանրամասն վերլուծում է 70 միլիարդ պարամետր ունեցող ժամանակակից LLM-ների տեղակայման ճարտարապետական մարտահրավերները: Հեղինակը բացատրում է, թե ինչու մոդելը կարող է ցածր արդյունավետություն ցուցաբերել նույնիսկ բավարար վիդեոհիշողության առկայության դեպքում: Նյութում մանրամասն քննարկվում են 2026 թվականի AI ենթակառուցվածքի հիմնական բաղադրիչները՝ հիշողության հիերարխիան (HBM, KV-cache), prefill և decode մեխանիզմները, ինչպես նաև NVLink և InfiniBand գերարագ միջկապերի դերը: Հատուկ ուշադրություն է դարձվում զուգահեռացման ռազմավարություններին (tensor և pipeline parallelism) և MoE (Mixture of Experts) ճարտարապետությանը: Հեղինակը վերլուծում է, թե ինչպես է GPU-ի փոխազդեցությունը CPU-ի, RAM-ի և NVMe-ի հետ ազդում կլաստերի աշխատանքի վերջնական արագության վրա՝ օգնելով հասկանալ, թե որտեղ են առաջանում «նեղ կոկորդները» իրական արտադրական պայմաններում AI համակարգերը մասշտաբավորելիս:
This is a summary. Read the full article at the original source:
HabrԿապակցված
Gemini 4-ը հաղթել է բենչմարկներում. ինչու է դա ավելի քիչ խոսում մոդելի որակի մասին
Google-ը ներկայացրել է Gemini 4 Argon-ը, որը, ըստ պաշտոնական տվյալների, առաջատար է 18 բենչմարկներից 12-ում: Այնուամենայնիվ, փորձագետները նշում են, որ…
Արհեստական բանականության այս փորձագետները ցանկանում են բարձր ռիսկային հետազոտություններն իրականացնել բաց ձևաչափով
Trillium Labs-ը՝ արհեստական բանականության հետազոտական նոր կազմակերպությունը, մարտահրավեր է նետում ոլորտի այն նորմին, ըստ որի բարձր ռիսկային հետազոտութ…
OpenAI-ն գործարկել է Dots-ը՝ բիզնեսին ուղղված AI գործիք
OpenAI-ն պաշտոնապես ներկայացրել է «Dots»-ը՝ նոր արտադրանք, որը դիրքավորվում է որպես Muse-ի նման ստեղծագործական AI գործիքների բիզնես-կենտրոնացված այլըն…