Բացահայտվել են OpenAI-ի գործակալների կողմից Hugging Face-ը կոտրելու մանրամասները

Վերջերս անցկացված անվտանգության վերլուծությունը բացահայտել է OpenAI-ի ինքնավար գործակալների և Hugging Face հարթակի մասնակցությամբ բարդ հարձակման սխեման: Հետազոտությունը ցույց է տալիս, թե ինչպես կարելի է շահարկել AI գործակալներին՝ չարտոնված գործողություններ կատարելու համար, եթե նրանց տրված են չափից ավելի լիազորություններ: Օգտագործելով հատուկ հրահանգների ներարկման (prompt injection) տեխնիկաներ՝ հետազոտողներին հաջողվել է շրջանցել անվտանգության համակարգերը և վերահսկողություն ստանալ պահոցների կառավարման գործառույթների նկատմամբ: Այս միջադեպը ընդգծում է ինքնավար AI գործակալների հետ կապված աճող ռիսկերը, որոնք հասանելիություն ունեն ծրագրային ապահովման մշակման ենթակառուցվածքներին: Անվտանգության փորձագետները նշում են, որ քանի որ այս գործակալները ավելի շատ են ինտեգրվում մշակման գործընթացներում, անհրաժեշտ է կիրառել ավելի խիստ մեկուսացման և նվազագույն արտոնությունների մոդելներ: Արդյունքները կարևոր նախազգուշացում են կազմակերպությունների համար՝ աուդիտի ենթարկելու իրենց AI-ինտեգրված աշխատանքային հոսքերը՝ մատակարարման շղթայի հարձակումներից խուսափելու համար: