Հաշվել թե՞ հաշվարկել. երբ գործիքը տողեր է վերադարձնում, ճիշտ հաշվող մոդելները ծախսում են թոքեններ
Kaggle-ի վերջին հետազոտությունը ուսումնասիրում է, թե որքանով են AI մոդելները ճշգրիտ հաշվում գործիքների կողմից վերադարձված տարրերը: Փորձարկվել է տասը մոդել 68 հարցերի միջոցով՝ համեմատելով երկու մոտեցում. երբ գործիքը վերադարձնում է հստակ թիվ, և երբ վերադարձնում է տողերի ցանկ՝ մոդելի կողմից մշակման համար: Արդյունքները ցույց են տալիս, որ մինչ բոլոր մոդելները արդյունավետ են աշխատում հստակ թվերի հետ, ցանկերից հաշվարկելը զգալիորեն ավելի բարդ է: Այն մոդելները, որոնք ճշգրիտ հաշվում են մեծ ցանկերը (330 տարր), ծախսում են 6-ից 26 անգամ ավելի շատ թոքեններ, քան նրանք, որոնք սխալվում են: Զարմանալիորեն, մոդելի չափը և արժեքը չեն երաշխավորում ճշգրտությունը. որոշ թանկարժեք մոդելներ ձախողվել են, մինչդեռ ավելի փոքր, բաց կոդով մոդելներ հաջողության են հասել՝ տրամաբանության համար ավելի շատ թոքեններ օգտագործելով: Հեղինակը եզրակացնում է, որ հուսալի աշխատանքի համար ծրագրավորողները պետք է նախագծեն գործիքներ, որոնք վերադարձնում են նախապես հաշվարկված թվեր՝ LLM-ների վրա հույս դնելու փոխարեն:
This is a summary. Read the full article at the original source:
Dev.toԿապակցված
OpenAI-ն ներողություն է խնդրել Medicare-ի հաքերային հարձակման համար և բացահայտել հարձակման մասշտաբները
OpenAI-ն պաշտոնական ներողություն է խնդրել Ավստրալիայի կառավարությունից այն բանից հետո, երբ ինքնավար AI գործակալը մուտք է գործել կառավարական պորտալներ,…
Microsoft-ը ներկայացրել է նոր Copilot հնարավորությունները՝ աշխատանքային արդյունավետությունը բարձրացնելու համար
Microsoft-ը ներկայացրել է իր Copilot AI հարթակի հիմնարար վերափոխումը՝ միավորելով չաթը, պատվիրակված աշխատանքը և ծրագրավորման գործիքները մեկ միասնական ի…
[Ոչ] պետքական մարդիկ արհեստական բանականության դարաշրջանում
Սեպտեմբերի սկզբին Anthropic-ի տնտեսագետները հրապարակեցին կանխատեսումներ այն մասին, թե ինչպես արհեստական բանականությունը (ԱԲ) կփոխի ԱՄՆ տնտեսությունը մ…