Արհեստական բանականության բենչմարկների կիսատրոհման պարբերությունը կրկնակի կրճատվել է՝ 38-ի փոխարեն 19 ամիս
Հետազոտողը վերլուծել է 2018-2026 թվականներին ինը առաջատար լաբորատորիաների կողմից թողարկված լեզվական մոդելների 224 բենչմարկ՝ դրանց կենսացիկլը պարզելու համար։ Բենչմարկի «մահ» է համարվում այն պահը, երբ մոդելները հասնում են 90% ճշգրտության կամ մարդկային մակարդակի, կամ երբ հավաքածուն դառնում է ոչ արդիական։ Հետազոտության արդյունքները ցույց են տալիս, որ բենչմարկների կիսատրոհման պարբերությունը 2023 թվականից առաջ թողարկվածների համար 38 ամսից նվազել է մինչև 19 ամիս՝ ավելի ուշ թողարկվածների համար։ Սա վկայում է ԱԲ մոդելների հնարավորությունների արագ աճի մասին, որոնք սահմանված սահմանաչափերը հաղթահարում են երկու անգամ ավելի արագ, քան նախկինում։ Բացի այդ, պարզվել է, որ յուրաքանչյուր յոթերորդ բենչմարկը դառնում է անպիտան ներքին թերությունների պատճառով, իսկ գործակալային միջավայրերում այդ ցուցանիշը հասնում է գրեթե 50%-ի։ Հեղինակը հրապարակել է տվյալների բազան և մեթոդաբանությունը՝ հնարավորություն տալով համայնքին ավելի լավ գնահատել ԱԲ թեստավորման նոր գործիքների երկարակեցությունը։
This is a summary. Read the full article at the original source:
HabrԿապակցված
Google-ի Gemini 4 Argon-ն այժմ հասանելի է Gemini հավելվածում և որոնման AI ռեժիմում
Google-ը պաշտոնապես ընդլայնել է իր վերջին՝ Gemini 4 Argon արհեստական բանականության մոդելի հասանելիությունը օգտատերերի ավելի լայն շրջանակի համար: Այս թ…
Կոսինուսային նմանությունը ցույց տվեց 0.92. Բեռնվածքն արդեն մեռած էր։
Հեղինակը ուսումնասիրում է LLM գործակալի հիշողության վերականգնման և իրական վարքագծային փոփոխությունների միջև եղած կարևոր բացը՝ մարտահրավեր նետելով այն…
The Download. Բաց մոդելների առավելություններն ու երկրաջերմային էներգիայի հեռանկարները
The Download-ի այս թողարկումը քննարկում է բաց կոդով AI մոդելների շուրջ ծավալվող բանավեճը՝ ընդգծելով Anthropic-ի մտահոգությունները Z.ai-ի նման ընկերութ…