ESP32S3 կլաստեր՝ 1.58-բիթանոց (BitNet) լեզվական մոդելի աշխատանքով
Նոր բաց կոդով նախագիծը ցույց է տալիս սահմանափակ ռեսուրսներ ունեցող սարքավորումների վրա բարձր քվանտացված լեզվական մոդելներ գործարկելու հնարավորությունը: Օգտագործելով ESP32S3 միկրոկոնտրոլերների կլաստեր՝ նախագիծը ներդնում է 1.58-բիթանոց (BitNet) մեծ լեզվական մոդելի (LLM) ճարտարապետություն: Այս մոտեցումը զգալիորեն նվազեցնում է LLM-ի ինֆերենսի համար անհրաժեշտ հաշվողական և հիշողության ծախսերը՝ թույլ տալով գեներատիվ AI մոդելներ տեղակայել ցածր էներգիա սպառող սարքերում: Նախագիծը ընդգծում է AI մոդելները ներդրված համակարգերի համար օպտիմալացնելու աճող միտումը՝ հեռանալով բարձրակարգ GPU-ների պահանջներից դեպի բաշխված և արդյունավետ սարքավորումների կլաստերներ: Այս իրականացումը ծառայում է որպես ապացույց այն մշակողների համար, ովքեր հետաքրքրված են եզրային AI-ով՝ ցույց տալով, թե ինչպես բիթային մակարդակի օպտիմալացումը կարող է հնարավոր դարձնել բարդ մեքենայական ուսուցման առաջադրանքները էժան և հասանելի միկրոկոնտրոլերների վրա:
This is a summary. Read the full article at the original source:
Hacker News (YC)Կապակցված
OpenAI-ն ներողություն է խնդրել Medicare-ի հաքերային հարձակման համար և բացահայտել հարձակման մասշտաբները
OpenAI-ն պաշտոնական ներողություն է խնդրել Ավստրալիայի կառավարությունից այն բանից հետո, երբ ինքնավար AI գործակալը մուտք է գործել կառավարական պորտալներ,…
Microsoft-ը ներկայացրել է նոր Copilot հնարավորությունները՝ աշխատանքային արդյունավետությունը բարձրացնելու համար
Microsoft-ը ներկայացրել է իր Copilot AI հարթակի հիմնարար վերափոխումը՝ միավորելով չաթը, պատվիրակված աշխատանքը և ծրագրավորման գործիքները մեկ միասնական ի…
[Ոչ] պետքական մարդիկ արհեստական բանականության դարաշրջանում
Սեպտեմբերի սկզբին Anthropic-ի տնտեսագետները հրապարակեցին կանխատեսումներ այն մասին, թե ինչպես արհեստական բանականությունը (ԱԲ) կփոխի ԱՄՆ տնտեսությունը մ…