Արդյո՞ք տրանսֆորմատորային ուշադրությունը իրականում Հոփֆիլդի ցանց է:
Վերջին տեխնիկական քննարկումը ուսումնասիրում է տրանսֆորմատորային ուշադրության մեխանիզմի և ժամանակակից անընդհատ Հոփֆիլդի ցանցերի միջև մաթեմատիկական համարժեքությունը: Հոդվածը պարզաբանում է, որ Հոփֆիլդի ցանցի մեկ թարմացման քայլը մաթեմատիկորեն նույնական է մասշտաբավորված կետային արտադրյալի ուշադրությանը (scaled dot-product attention): Այնուամենայնիվ, հեղինակը զգուշացնում է այս նույնականությունը չափազանցնելուց: Թեև այս համարժեքությունը օգտակար պատկերացումներ է տալիս այն մասին, թե ինչպես են մոդելները տեղեկատվություն ստանում համատեքստի պատուհանում, դա չի նշանակում, որ տրանսֆորմատորներն ունեն երկարատև հիշողություն կամ որ դրանց ճարտարապետությունը բխում է Հոփֆիլդի ցանցերից: Հեղինակը շեշտում է, որ ուշադրությունը կարճաժամկետ որոնման մեխանիզմ է, և AI գործակալների համար իրական երկարաժամկետ հիշողությունը պահանջում է արտաքին համակարգեր, որոնք գոյատևում են մեկ սեսիայից դուրս: Այս տարբերակումը վճռորոշ է այն մշակողների համար, ովքեր ճարտարապետական որոշումներ են կայացնում այն մասին, թե ինչպես գործակալները պահպանեն և վերհիշեն տեղեկատվությունը ժամանակի ընթացքում:
This is a summary. Read the full article at the original source:
Dev.toԿապակցված
Ինչպե՞ս կարող են AI գործակալները հանգեցնել ձեռնարկությունների համար անվերահսկելի ծախսերի
Քանի որ ձեռնարկություններն ավելի ու ավելի են ինտեգրում ինքնավար AI գործակալներն իրենց աշխատանքային գործընթացներում, ի հայտ է եկել ֆինանսական լուրջ ռիս…
AI-ի անվերահսկելի վտանգները կանխելու համար անհրաժեշտ է ավելին, քան պարզապես խոսակցություններ P(doom)-ի մասին
CNET-ի հյուրընկալված սյունակում հեղինակ Ջեյմի Բարթլեթը քննարկում է առաջադեմ արհեստական բանականության հետ կապված աճող ռիսկերը: Բարթլեթը պնդում է, որ «P…
OpenAI-ն ստեղծում է մաթեմատիկական խորհրդատվական խումբ, քանի որ նրա AI-ն լուծել է ավելի քան 100 բաց խնդիր
OpenAI-ն պաշտոնապես ստեղծել է մաթեմատիկական խորհրդատվական խումբ՝ վերահսկելու առաջադեմ AI տրամաբանության ոլորտում իր հետազոտությունները: Այս քայլը հաջո…