Ձեր գործակալն ասում է՝ ստուգված է։ Ոչինչ այն չի կապում արտեֆակտի հետ

AI գործակալների շրջանակների վերաբերյալ վերջին հետազոտությունը բացահայտում է լուրջ խոցելիություն. «ստուգված» տերմինը հաճախ կապված չէ իրական բովանդակության հետ: LangGraph և CrewAI շրջանակների փորձարկումները ցույց են տալիս, որ գործակալները հեշտությամբ կարող են մոլորվել ոչ հեղինակավոր դաշտերում տեղադրված տվյալներով, եթե համակարգային հրահանգները հստակ չեն սահմանում ճշմարտության աղբյուրները: Բացի այդ, ուսումնասիրությունը ցույց է տալիս, որ ստուգման քայլերը հաճախ չեն կապում վավերացման արդյունքը արտեֆակտի կոնկրետ բայթերի հետ, ինչը թույլ է տալիս «լուռ փոխարինումներ», երբ չստուգված բովանդակությունը մատուցվում է որպես ստուգված: Հեղինակն առաջարկում է երկու հիմնական լուծում՝ համակարգային հրահանգներում հստակ նշել հեղինակավոր աղբյուրները և կոդի մեջ ներդնել կրիպտոգրաֆիկ հեշ-ստուգումներ՝ ապահովելու համար, որ ստուգված արտեֆակտը մնա անփոփոխ առաքման ընթացքում: Այս բացահայտումները շեշտում են, որ մշակողները պետք է դուրս գան գործակալների հայտարարություններին վստահելուց և փոխարենը կիրառեն տվյալների կապման և վավերացման խիստ տրամաբանություն իրենց հավելվածների խողովակաշարերում: