Վրացերենի չափորոշիչ. AI-ի երկու խոշորագույն լաբորատորիաների մրցակցությունը մի լեզվում, որը չի ենթարկվում ոչ մեկի կանոններին

Ծրագրավորողը գործարկել է համապարփակ չափորոշիչ՝ ստուգելու համար, թե ինչպես են արհեստական բանականության լավագույն մոդելները հաղթահարում վրացերենը՝ եզակի, ոչ հնդեվրոպական լեզու՝ բարդ քերականական կառուցվածքով և սեփական այբուբենով։ Kaggle-ի մրցույթի համար նախատեսված այս նախագիծը գնահատում է մոդելները հինգ հիմնական առաջադրանքներում՝ թվերի փոխակերպում, բայերի խոնարհում, թարգմանություն, բաց թողնված բառերի լրացում և քերականական ուղղումներ։ Չնայած Kaggle հարթակում օրական բյուջեի սահմանափակումներին և անձնական վնասվածքին, հեղինակը ձեռքով է կազմել տվյալների բազաները՝ որակյալ թեստավորում ապահովելու համար։ Արդյունքները ցույց են տալիս, որ թեև ժամանակակից AI մոդելները առաջընթաց են գրանցել վրացերենի ըմբռնման հարցում, նրանք դեռևս դժվարանում են ճշգրիտ արտադրել այն, հատկապես բարդ թվային համակարգերի և նրբերանգային քերականության դեպքում։ Այս չափորոշիչը ընդգծում է LLM-ների գնահատման մարտահրավերները փոքր ռեսուրսներ ունեցող կամ լեզվաբանորեն յուրահատուկ լեզուներում՝ շեշտելով, որ «էժան» մոդելները երբեմն կարող են գերազանցել ավելի մեծերին՝ կախված առաջադրանքից։