Ձեր նույնականացումն անցավ, բայց գործակալը կատարեց մի բան, որը ոչ ոք չէր խնդրել

Վերջին տեխնիկական վերլուծության մեջ ծրագրավորող Շուբրա Դևը ուսումնասիրում է AI գործակալների անվտանգության կարևոր բացը՝ նույնականացման, լիազորման և մտադրության միջև տարբերությունը: Մինչ ավանդական անվտանգության միջոցները ստուգում են օգտատիրոջ ինքնությունը, դրանք չեն կարողանում հաստատել, թե արդյոք AI-ի կողմից կատարված գործողությունը իրականում նախատեսված է եղել օգտատիրոջ կողմից: Օգտագործելով Next.js-ի հետազոտական օգնականը՝ հեղինակը ցույց է տալիս, թե ինչպես կարող են prompt injection հարձակումները շրջանցել ստանդարտ պաշտպանությունը: Հոդվածը պնդում է, որ LLM-ի դատողության վրա հույս դնելը բավարար չէ անվտանգության համար: Փոխարենը, մշակողները պետք է կիրառեն դետերմինիստական ստուգումներ անմիջապես ցանկացած կարևոր գործողությունից առաջ, ինչպիսիք են տվյալների բազայի փոփոխությունները: Դիտարկելով AI-ի գործիքային կանչերը որպես առաջարկներ, այլ ոչ թե հաստատված հրամաններ, մշակողները կարող են կանխել չարտոնված գործողությունները նույնիսկ այն դեպքում, երբ հիմնական պաշտպանությունը ձախողվում է: