Prompt Injection-ը SQL Injection-ի նոր տարբերակն է (և մենք պատրաստ չենք)

Վերջին վերլուծությունը ցույց է տալիս, որ Prompt Injection-ը դարձել է LLM հավելվածների համար ամենավտանգավոր խոցելիությունը՝ ուղղակի զուգահեռներ անցկացնելով 2000-ականների սկզբի SQL injection-ի ճգնաժամի հետ։ Քանի որ AI գործակալները ստանում են արտաքին տվյալներ մշակելու և իրական գործողություններ կատարելու հնարավորություն, «անուղղակի prompt injection»-ի ռիսկը, երբ չարամիտ հրահանգները թաքնված են AI-ի կողմից կարդացվող բովանդակության մեջ, տարեկան աճել է 340%-ով։ Ի տարբերություն SQL injection-ի, որը կարելի է կանխել պարամետրացված հարցումների միջոցով, prompt injection-ը չունի հստակ կառուցվածքային լուծում, քանի որ այն շահագործում է մոդելների՝ հրահանգներն ու տվյալները մշակելու հիմնարար ձևը։ Փորձագետները շեշտում են, որ չնայած հրաշագործ լուծում չկա, մշակողները պետք է կիրառեն պաշտպանության խորացված ռազմավարություն։ Սա ներառում է նվազագույն արտոնությունների սկզբունքի կիրառումը, անվստահելի բովանդակության մեկուսացումը և մարդու վերահսկողության պահպանումը կարևոր գործողությունների համար՝ հնարավոր հարձակումների հետևանքները նվազագույնի հասցնելու համար։