Ես ստեղծեցի AI գործակալ, որը կարող էր կանչել API-ներ, իսկ հետո սովորեցրի նրան, թե երբ դա չանել

API կանչեր կատարելու ունակ AI գործակալ ստեղծելը հեշտ է, սակայն դրա անվտանգ աշխատանքն ապահովելը բարդ ինժեներական խնդիր է։ Հեղինակը մանրամասնում է իր փորձը՝ ստեղծելով թույլտվությունների շերտ, որը կանխում է AI-ի կողմից չարտոնված գործողությունները։ Գործիքների ընտրությունը լիազորումից տարանջատելով՝ համակարգը մոդելի արդյունքը դիտարկում է որպես հարցում, այլ ոչ թե հրաման։ Այս ճարտարապետությունը ներառում է դետերմինիստական շարժիչ, որը ստուգում է գործիքների անունները, արգումենտները և ռեսուրսների հասանելիությունը նախքան կատարումը։ Հեղինակը շեշտում է, որ միայն համակարգային հրահանգների վրա հույս դնելը բավարար չէ՝ հաշվի առնելով LLM-ների հավանականային բնույթը և prompt injection-ի նման ռիսկերը։ Փոխարենը, նա առաջարկում է կոդի վրա հիմնված վավերացում, աուդիտ և մարդու կողմից հաստատման անհրաժեշտություն զգայուն գործողությունների համար՝ AI գործակալներին դիտարկելով որպես ապահով բաշխված համակարգի մաս։