Տեղային AI չորս Mac-երում. MLX հզորություն, արագություն և վստահության սահմաններ

Apple-ը ցուցադրել է MLX շրջանակի օգտագործումը՝ Meta-ի Muse Spark Open-ի նման լայնածավալ մոդելները չորս M5 Ultra Mac Studio-ների կլաստերում գործարկելու համար: RDMA-over-Thunderbolt-ի կիրառմամբ այս լուծումը հաղթահարում է հիշողության սահմանափակումները, որոնք թույլ չեն տալիս նման մոդելները գործարկել մեկ համակարգչի վրա: Այնուամենայնիվ, հոդվածը շեշտում է, որ սարքավորումների ավելացումը ավտոմատ կերպով չի կրկնապատկում գեներացման արագությունը, քանի որ խողովակաշարային զուգահեռականությունը հաճախ պահպանում է շերտերի հաջորդական գնահատումը: Հեղինակը նախազգուշացնում է, որ թեև տեղային ինֆերենսը գաղտնիության առավելություններ ունի, օգտատերերը պետք է ուշադիր գնահատեն իրենց աշխատանքային ծանրաբեռնվածությունը: Բացի այդ, զեկույցը կարևորում է հարցումների մշակման և գեներացման թողունակության տարբերակումը՝ հիշեցնելով, որ տեղային մոդելների հյուրընկալումը ինքնաբերաբար չի ապահովում բոլոր հարակից ծառայությունների անվտանգությունը, ինչպես ցույց տվեց OpenCode-ի վերջին միջադեպը: Գնորդներին խորհուրդ է տրվում կատարել փորձարկումներ՝ հիմնվելով սեփական առաջադրանքների վրա: