Կրկնակի քիչ թոքեններ՝ առանց մոդելը փոխելու. ի՞նչ արեց NVIDIA-ն կոդավորման գործակալի harness-ի հետ
NVIDIA-ի, MIT-ի և NTU-ի հետազոտողները ներկայացրել են կոդավորման մասնագիտացված AI գործակալների օպտիմալացման նոր մոտեցում: Մոդելը ավելի փոքրով փոխարինելու փոխարեն, թիմը օգտագործել է մեկ այլ AI գործակալ՝ Pi մոդելի վրա հիմնված օգնականի «հանդերձանքը» (harness) ավտոմատ կերպով բարելավելու համար: Փորձի ընթացքում գործակալը փորձարկել է օպտիմալացման 152 ռազմավարություն: Դրանցից չորսը թույլ են տվել կրճատել թոքենների սպառումը գրեթե կիսով չափ՝ պահպանելով սկզբնական մոդելը, ինչը հանգեցրել է API-ի ծախսերի 30% նվազմանը: Չնայած EdgeBench-ում արդյունավետության աննշան անկմանը (6%), արդյունքները ցույց են տալիս գործակալների ենթակառուցվածքի ավտոմատ կարգավորման արդյունավետությունը: Հեղինակները նշում են, որ այս մեթոդը թույլ է տալիս զգալիորեն խնայել ռեսուրսները՝ առանց գեներացման որակի կորստի, սակայն ընդգծում են առաջարկված լուծումների կայունության թույլ կողմերը ավելի բարդ ծրագրավորման խնդիրների դեպքում:
This is a summary. Read the full article at the original source:
HabrԿապակցված
Ես հարցում եմ անցկացրել Հնդկաստանի 123 մարդկանց շրջանում՝ առաջատար AI-ի աշխատանքը գնահատելու համար
Նոր հետազոտությունը գնահատել է, թե ինչպես են առաջատար արհեստական բանականության մոդելները լուծում Հնդկաստանի ինստիտուցիոնալ բարդ խնդիրները: Հարցազրույց…
Frontend ծրագրավորողը ստեղծել է անհատականացված AI հրամանատարական կենտրոն՝ ամենօրյա արտադրողականությունը և անձնական նպատակները կառավարելու համար: Claud…
AI չաթբոտները կարող են առաջացնել գլոբալ «գիտելիքի փլուզում»՝ նվազեցնելով տեղեկատվության բազմազանությունը
Կոպենհագենի համալսարանի նոր հետազոտությունը ցույց է տալիս, որ AI չաթբոտները կարող են նեղացնել մարդկային գիտելիքի շրջանակը՝ ավանդական որոնողական համակա…