AI գործակալը պարզապես while ցիկլ է. դրա ստեղծումը և խոցելիության բացահայտումը
Վերջերս հրապարակված տեխնիկական վերլուծության մեջ ծրագրավորող Ալիստեր Բարոյը ցույց է տալիս, որ «AI գործակալը» ըստ էության լեզվական մոդել է՝ համակցված գործիքների հավաքածուի և while ցիկլի հետ: 70 տողից պակաս Python կոդով գործակալ ստեղծելով՝ Բարոյը ցույց է տալիս, թե ինչպես են այդ համակարգերը գործում՝ կրկնվող կերպով կանչելով ֆունկցիաներ՝ հիմնվելով մոդելի արդյունքների վրա: Հոդվածը ընդգծում է անվտանգության կարևոր խոցելիություն՝ prompt injection-ը: Վեբ էջում թաքնված հրահանգներ տեղադրելով՝ հեղինակը հաջողությամբ ստիպում է գործակալին կարդալ զգայուն տեղական ֆայլեր, ինչպիսիք են API բանալիներ պարունակող .env ֆայլը: Այս նյութը գործնական նախազգուշացում է ինքնավար գործակալների կողմից չվստահված արտաքին տվյալների մշակման ռիսկերի մասին: Բարոյը եզրակացնում է, որ թեև համակարգային հրահանգները կարող են օգնել, անվտանգության ամենաարդյունավետ միջոցները ներառում են կատարման ցիկլում խիստ վերահսկողության և գրանցման (logging) իրականացումը՝ գործիքների հասանելիությունը վերահսկելու համար, այլ ոչ թե միայն մոդելի ներքին տրամաբանության վրա հույս դնելը:
This is a summary. Read the full article at the original source:
Dev.toԿապակցված
Meta-ի նոր AI գործակալը ցանկանում է ավելի անձնական դառնալ ձեզ համար
Meta-ն ներկայացրել է իր վերջին նորարարությունը՝ Muse AI գործակալը, որը նախատեսված է որպես օգտատերերի համար խիստ անհատականացված օգնական հանդես գալու հա…
Ի՞նչ է կատարվում OpenAI-ի և Նավիե-Ստոքսի հավասարումների շուրջ ծագած վեճի հետ
OpenAI-ը վերջերս հայտարարել է մաթեմատիկայի ոլորտում նշանակալի առաջընթացի մասին, որը վերաբերում է Նավիե-Ստոքսի հավասարումներին, որոնք նկարագրում են հեղ…
Խոշոր լեզվական մոդելները մշակում են նոր սոցիալական կողմնակալություններ՝ ադապտիվ ուսուցման միջոցով
OpenReview-ում հրապարակված վերջին գիտական աշխատանքը ուսումնասիրում է, թե ինչպես կարող են խոշոր լեզվական մոդելները (LLM) ձեռք բերել և դրսևորել նոր սոցի…