Jev ընդդեմ Claude. Ո՞վ է հաղթում

Վերջերս անցկացված փորձարկման ընթացքում ծրագրավորող Բեն Գրինբերգը համեմատել է կառուցվածքային որոշումների համար նախատեսված Jev մոդելի և Claude Sonnet-ի աշխատանքը իրական նախագծերի գնահատման գործընթացում։ Առաջադրանքը պահանջում էր նախագծերը գնահատել հստակ քաղաքականության համաձայն՝ ընտրելով «բավարարված», «չբավարարված» կամ «ոչ բավարար ապացույցներ» տարբերակներից մեկը։ Թեև երկու մոդելներն էլ ցուցադրել են բարձր ճշգրտություն, Jev-ը զգալի առավելություններ է ունեցել արդյունավետության և հուսալիության առումով։ Jev-ի աշխատանքի արժեքը եղել է Claude-ի ծախսերի մոտ մեկ հիսունական մասը, իսկ արագությունը՝ տասն անգամ ավելի բարձր։ Կարևոր է, որ Jev-ի վստահության գնահատականներն ավելի արդյունավետ են եղել անորոշ դեպքերը բացահայտելու համար, ինչը թույլ է տվել ավելի անվտանգ ավտոմատացում իրականացնել։ Հետազոտությունը ցույց է տալիս, որ մինչ գեներատիվ LLM-ները գերազանցում են ստեղծագործական առաջադրանքներում, Jev-ի նման մասնագիտացված մոդելներն ավելի արդյունավետ են սահմանափակ, կանոնակարգված որոշումներ կայացնելու համար։ Հեղինակը եզրակացնում է, որ AI-ի ապագան հիբրիդային մոտեցման մեջ է՝ կախված առաջադրանքի պահանջներից։