Dust. Տրանսֆորմերների նախնական ուսուցում առանց հետադարձ տարածման
QLabs-ի հետազոտողները ներկայացրել են «Dust»-ը՝ Transformer մոդելների նախնական ուսուցման նոր մոտեցում, որը վերացնում է ավանդական հետադարձ տարածման (backpropagation) անհրաժեշտությունը: Օգտագործելով տեղային ուսուցման ալգորիթմ՝ Dust-ը նպատակ ունի լուծել հիշողության և հաշվարկային սահմանափակումները, որոնք սովորաբար ուղեկցում են լայնածավալ նեյրոնային ցանցերի ուսուցմանը: Մեթոդը կենտրոնանում է շերտերի ներսում կշիռների տեղային թարմացման վրա, ինչը կարող է զգալիորեն նվազեցնել ուսուցման համար պահանջվող հիշողության ծավալը՝ հնարավորություն տալով ավելի արդյունավետ մասշտաբավորել AI մոդելները: Այս հետազոտությունը մարտահրավեր է նետում գլոբալ գրադիենտային անկման ստանդարտ կիրառմանը՝ առաջարկելով, որ տեղային ուսուցման կանոնները կարող են ապահովել համեմատելի արդյունավետություն՝ միաժամանակ առաջարկելով սարքավորումների ավելի լավ օգտագործում: Թիմը հրապարակել է իր բացահայտումները՝ խրախուսելու հետագա ուսումնասիրությունները այլընտրանքային ուսուցման պարադիգմների վերաբերյալ, որոնք դուրս են գալիս հետադարձ տարածման սահմանափակումներից՝ հնարավոր դարձնելով ավելի կայուն և արագ AI զարգացման ցիկլեր:
This is a summary. Read the full article at the original source:
Hacker News (YC)Կապակցված
Google-ը կարող է ընդլայնել Gemini «Call for Me» գործառույթը անձնական կոնտակտների համար
Google-ը նախատեսում է ընդլայնել իր «Call for Me» արհեստական բանականության վրա հիմնված գործառույթը, որը ներկայումս օգնում է օգտատերերին գործնական զանգե…
ChatGPT-ն իրական ծաղրանկարիչների ստորագրություններն ավելացնում է կեղծ New Yorker ծաղրանկարներին
Վերջին հետաքննությունը պարզել է, որ OpenAI-ի ChatGPT-ն ստեղծում է The New Yorker-ի ոճով ծաղրանկարներ, որոնցում սխալմամբ ավելացվում են իրական ծաղրանկար…
Meta-ի Muse-ը, ըստ հաղորդումների, թղթապանակներ է պահում ձեր բոլոր մտերիմների մասին
Meta-ի նոր Muse AI օգնականը մեծ ժողովրդականություն է ձեռք բերել՝ երեք շաբաթվա ընթացքում գրանցելով ավելի քան 5 միլիոն ներբեռնում: Այնուամենայնիվ, Wired…