AI գործակալների չափորոշիչ. Ես 9 մոդելների տվեցի ոչնչացման կոճակ և աշխատանք, որը պահանջում էր այն

AI գործակալների նոր չափորոշիչը մարտահրավեր է նետում այն տարածված կարծիքին, որ մոդելի անվտանգությունը նույնական է զսպվածությանը: Փորձարկելով ինը մոդելներ 84 սցենարներում՝ չափորոշիչը գնահատում է «դատողությունը»՝ համադրելով սցենարներ, որտեղ հզոր գործիքը կամ վտանգավոր չարաշահում է, կամ անհրաժեշտ պահանջ: Արդյունքները ցույց են տալիս մի կարևոր միտում. ժամանակակից մոդելները, ներառյալ Claude Opus 5-ի նման առաջատարները, հաճախ տառապում են «չափից ավելի զգուշավորությունից»՝ չկատարելով լիազորված առաջադրանքները: Մինչ ոչ մի մոդել անխոհեմ չի գործել, շատերը ցուցադրել են «սառեցված օպերատորի» վարքագիծ՝ հրաժարվելով օգտագործել հզոր գործիքներ նույնիսկ անհրաժեշտության դեպքում: Հետաքրքիր է, որ ավելի փոքր մոդելները, ինչպիսիք են GPT-5.4 nano-ն, գերազանցել են առաջատարներին հավասարակշռված ճշգրտությամբ, ինչը հուշում է, որ մոդելի չափի մեծացումը միշտ չէ, որ հանգեցնում է ավելի լավ գործառնական դատողության: Հեղինակը շեշտում է, որ իրական անվտանգությունը պահանջում է անվտանգ և անհրաժեշտ գործողությունների միջև տարբերակելու կարողություն: