13-ից 12 AI մոդելներ գիտեին նոր անունը, բայց միևնույն է՝ գրեցին հինը

Kaggle-ում անցկացված «Semconv Drift» անվանումով վերջին հետազոտությունը փորձարկել է 17 AI մոդելների ունակությունը՝ ստեղծելու ճշգրիտ OpenTelemetry գործիքավորման կոդ: Արդյունքները բացահայտել են զգալի անհամապատասխանություն մոդելների գիտելիքների և արդյունքների միջև. 13-ից 12 մոդելներ ուղղակի հարցման դեպքում ճիշտ են նշել թարմացված ատրիբուտների անունները, սակայն կոդ գրելիս օգտագործել են հնացած անվանումներ: Հետազոտությունը ցույց է տալիս, որ մոդելները հաճախ նախապատվությունը տալիս են ուսումնական տվյալների մեջ առկա տարածված, բայց հնացած օրինաչափություններին: Նույնիսկ տարբերակի վերաբերյալ հրահանգների դեպքում սխալների թիվը նվազել է ընդամենը 36%-ով, իսկ որոշ դեպքերում մոդելները հորինել են գոյություն չունեցող անուններ: Հեղինակը եզրակացնում է, որ AI-ի վրա հիմնվելը պահանջում է խիստ ստուգում, քանի որ մոդելները կարող են ստեղծել «կիսատ» լուծումներ, որոնք անցնում են կոդի վերանայումը, բայց խախտում են հեռաչափության համակարգերը: Մշակողներին խորհուրդ է տրվում կիրառել ավտոմատացված ստուգումներ՝ պաշտոնական բնութագրերին համապատասխան: