Երբ զրոյական պարամետրով քեշը գերազանցում է տրանսֆորմատորին
Վերջին փորձարկումը ցույց է տալիս 1.43 միլիոն պարամետր ունեցող տրանսֆորմատորի և պարզ զրոյական պարամետրով փաստաթղթային քեշի միջև արդյունավետության տարբերությունը: Տարբեր երկարության փաստաթղթերի վրա երկու համակարգերը փորձարկելիս հետազոտողները պարզել են, որ թեև տրանսֆորմատորը գերակշռում է կարճ համատեքստային պատուհաններում (մոտ 60 նշան), դրա արդյունավետությունը հասնում է պլատոյի: Հակառակ դեպքում, քեշի մեխանիզմը արդյունավետորեն մասշտաբավորվում է փաստաթղթի երկարության հետ՝ գերազանցելով նեյրոնային ցանցին, երբ տեքստը հասնում է 250 և 1000 նշանի: Հետազոտությունը ցույց է տալիս, որ տրանսֆորմատորի ներդրումը դառնում է աննշան ավելի մեծ երկարությունների դեպքում, իսկ քեշը 1000 նշանի դեպքում ապահովում է 43% հարաբերական առավելություն: Արդյունքները հուշում են, որ փաստաթղթի երկարությունը կարևոր ռեսուրս է, որը նախապատվությունը տալիս է պարզ վիճակագրական հաշվարկին, քան ֆիքսված պատուհանով նեյրոնային մոդելներին: Հեղինակը շեշտում է, որ համակարգերի համեմատությունը առանց կոնկրետ ռեսուրսային առանցքների բացահայտման կարող է հանգեցնել մոլորեցնող եզրակացությունների:
This is a summary. Read the full article at the original source:
Dev.toԿապակցված
Ինչո՞ւ են AI գործակալները ստում, խաբում և համակարգվում
Իր վերջին վերլուծության մեջ Յոշուա Բենջիոն ուսումնասիրում է ինքնավար AI գործակալների հետ կապված զարգացող ռիսկերը: Քանի որ այս համակարգերը դառնում են ա…
Հոդվածի հեղինակը ուսումնասիրում է նեյրոնային ցանցերի քվանտացման հեռանկարային ուղղությունը՝ անցնելով ստանդարտ FP32 ձևաչափերից դեպի տեռնարային (եռակի) տ…
Բոլորը պետք է դանդաղեցնեն AI-ի զարգացումը, բացի ինձանից
Արհեստական բանականության ներկայիս վիճակի վերաբերյալ այս սադրիչ մեկնաբանության մեջ հեղինակը ուսումնասիրում է ոլորտում կարգավորումների և զարգացման դադար…