Պարզապես ավելի շատ մարզեք. փոխարժեքի չափումը
Վերջին տեխնիկական վերլուծությունը ուսումնասիրում է մարզման տվյալների ծավալի և տրանսֆորմերային մոդելների արդյունավետության կապը՝ համեմատած պարզ հաշվարկային քեշերի հետ: Հետազոտությունը քննարկում է այն տարածված կարծիքը, թե մարզման տվյալների ավելացումը թույլ կտա փոքր տրանսֆորմերներին գերազանցել զրոյական պարամետրերով քեշավորման մեխանիզմները: 500 հազար, 2 միլիոն և 8 միլիոն թոքենների ստուգումների միջոցով հեղինակը հաշվարկում է «փոխարժեքը» մարզման տվյալների և համատեքստային պատուհանի հասանելիության միջև: Արդյունքները ցույց են տալիս, որ թեև մարզման տվյալների ավելացումը բարելավում է աշխատանքը, այն կետը, որտեղ տրանսֆորմերը գերազանցում է պարզ քեշին, շատ դանդաղ է տեղաշարժվում: Հետազոտությունը պարզում է, որ համատեքստային ավելի մեծ պատուհանի միջոցով փաստաթղթերի հասանելիություն ստանալը զգալիորեն ավելի արդյունավետ է, քան մարզման տվյալների մասշտաբավորումը: Հեղինակը եզրակացնում է, որ ֆիքսված կարճ համատեքստերի դեպքում տրանսֆորմերները դժվարանում են մրցակցել պարզ մեխանիզմների հետ՝ ընդգծելով, որ մոդելի ճարտարապետությունը և համատեքստային պատուհանի չափը մնում են AI հետազոտությունների կարևորագույն գործոններ:
This is a summary. Read the full article at the original source:
Dev.toԿապակցված
Ինչպես գտնել LM Studio-ի հավելումներ և MCP սերվերներ
Ծրագրավորող Սահան Սերան ներկայացրել է «Local AI Tools»-ը՝ բաց կոդով նոր գրացուցակ, որը նախատեսված է օգնելու օգտատերերին հայտնաբերել և կառավարել LM Stu…
«Արհեստական բանականության չարամիտ օգտագործումը. կանխատեսում, կանխարգելում և մեղմացում» աշխատությունը համապարփակ վերլուծություն է այն մասին, թե ինչպես…
Interconnects տեղեկագիրը հրապարակել է համապարփակ ընթերցանության ցանկ, որը կենտրոնացած է բաց կոդով արհեստական բանականության և բաց քաշային մոդելների զար…