AI տեքստային ջրանիշները կարող են մեծացնել խոցելիությունը հակառակորդի հարցումների նկատմամբ

Նոր հետազոտությունները ցույց են տալիս, որ AI տեքստային ջրանիշների ներդրումը, ինչպիսին է Google-ի SynthID-Text-ը, կարող է աննկատ փոխել լեզվական մեծ մոդելների (LLM) վարքագիծը: Թեև այս ջրանիշները նախատեսված են օգտատերերի համար աննկատ մնալու համար՝ բառերի ընտրությունը նուրբ կերպով կարգավորելու միջոցով, դրանք կարող են ազդել անվտանգության կանոնների պահպանման վրա: Lasso Security-ի հետազոտողները պարզել են, որ ջրանիշների ակտիվացման դեպքում մոդելները կարող են ավելի խոցելի դառնալ հակառակորդի հարցումների նկատմամբ, ինչը կարող է հանգեցնել անվտանգության արձանագրությունների շրջանցմանը կամ զգայուն տեղեկատվության բացահայտմանը: Ուսումնասիրությունը ընդգծում է, որ գեներացման գործընթացի փոփոխությունը բերում է փոխզիջումների, որոնք ազդում են մոդելի հուսալիության վրա: Քանի որ Anthropic-ի նման հարթակները պատրաստվում են ներդնել այս համակարգերը ԵՄ կանոնակարգերին համապատասխանելու համար, փորձագետները շեշտում են խիստ թեստավորման անհրաժեշտությունը՝ ապահովելու համար, որ անվտանգության միջոցառումները չվնասեն AI գործակալների ամբողջականությունը: