Ես գործարկեցի DeepSeek V4 Flash-ը երկու DGX Spark-ների վրա՝ Ethernet-ի միջոցով
Ծրագրավորող Քևին Թանգը հաջողությամբ ցույց տվեց, որ երկու NVIDIA DGX Spark միավորները կարող են գործարկել DeepSeek V4 Flash մոդելը՝ օգտագործելով ստանդարտ 10Gb Ethernet կապը՝ առաջարկվող 200Gb ցանցի փոխարեն: NCCL-ը TCP սոկետների միջոցով ուղղակի Ethernet կապով կազմաձևելով՝ Թանգը հասել է կայուն թենզորային զուգահեռ ինֆերենսի: Թեև այս իմպրովիզացված կարգավորումը ապահովել է պաշտոնական 200Gb/s բնութագրի համեմատ արդյունավետության մոտ 40-46%-ը, այն գործնականում պիտանի է եղել ինչպես ինտերակտիվ զրույցի, այնպես էլ խմբաքանակային մշակման համար: Փորձը ցույց է տալիս, որ թեև գերարագ միացումները կարևոր են ցածր ուշացում պահանջող հավելվածների համար, ստանդարտ ցանցային կապը կարող է բավարար լինել հզորության սահմանափակումներ ունեցող առաջադրանքների համար: Թանգի կարգավորումը թույլ է տվել 284 միլիարդ պարամետր ունեցող մոդելին աշխատել 256 ԳԲ միավորված հիշողության վրա՝ առաջարկելով կենսունակ, թեկուզ ավելի դանդաղ այլընտրանք այն օգտատերերի համար, ովքեր սպասում են մասնագիտացված մալուխների:
This is a summary. Read the full article at the original source:
Dev.toԿապակցված
Meta-ի նոր AI գործակալը ցանկանում է ավելի անձնական դառնալ ձեզ համար
Meta-ն ներկայացրել է իր վերջին նորարարությունը՝ Muse AI գործակալը, որը նախատեսված է որպես օգտատերերի համար խիստ անհատականացված օգնական հանդես գալու հա…
Ի՞նչ է կատարվում OpenAI-ի և Նավիե-Ստոքսի հավասարումների շուրջ ծագած վեճի հետ
OpenAI-ը վերջերս հայտարարել է մաթեմատիկայի ոլորտում նշանակալի առաջընթացի մասին, որը վերաբերում է Նավիե-Ստոքսի հավասարումներին, որոնք նկարագրում են հեղ…
Խոշոր լեզվական մոդելները մշակում են նոր սոցիալական կողմնակալություններ՝ ադապտիվ ուսուցման միջոցով
OpenReview-ում հրապարակված վերջին գիտական աշխատանքը ուսումնասիրում է, թե ինչպես կարող են խոշոր լեզվական մոդելները (LLM) ձեռք բերել և դրսևորել նոր սոցի…