Իրականում ո՞վ է փչացրել ձեր AI գործակալին՝ մոդե՞լը, թե՞ շրջանակը (wrapper)

Երբ AI գործակալները սխալներ են թույլ տալիս արտադրական միջավայրում, մշակողները հաճախ վիճում են պատճառների շուրջ՝ արդյո՞ք մեղավոր է լեզվական մոդելը, սխալ պրոմպտը, թե՞ API-ն: Scale AI-ի նոր հետազոտությունը առաջարկում է համակարգված մոտեցում այս խափանումները ախտորոշելու համար: Հեղինակները ներկայացրել են 41 ձախողման ռեժիմներից բաղկացած տաքսոնոմիա, որն օգնում է ճշգրիտ պարզել, թե որտեղ է տեղի ունենում համակարգի խափանումը: Վերլուծությունը ցույց է տալիս, որ «մոդելի մեղքը» հազվադեպ է լուծվում պարզ ուսուցմամբ (fine-tuning): Գործնականում խնդիրների մեծ մասը թաքնված է «շրջանակի» (wrapper) մեջ՝ պրոմպտների ճարտարապետության, գործիքների կանչման տրամաբանության կամ տվյալների մշակման մեջ: Հոդվածի հեղինակը վերլուծում է չորս իրական դեպք՝ ցույց տալով, որ մոդելի փոփոխությունը համընդհանուր լուծում չէ: Այս նյութը օգտակար կլինի AI համակարգերի հուսալիության վրա աշխատող ինժեներների համար, քանի որ այն ուշադրությունը տեղափոխում է մոդելների անվերջ փոփոխությունից դեպի ենթակառուցվածքի և գործակալի փոխազդեցության տրամաբանության կարգաբերում: