Ձեր համակարգային հուշումը հրահանգներ չէ, այն տվյալ է
LLM-ների վարքագծի մանրամասն ուսումնասիրության մեջ ծրագրավորող Natuworkguy-ը պնդում է, որ համակարգային հուշումները (system prompts) մոդելների կողմից մշակվում են որպես տվյալներ, այլ ոչ թե կոշտ հրահանգներ: 31B պարամետր ունեցող մոդելի փորձարկումների միջոցով հեղինակը պարզել է, որ մոդելները հաճախ օրինակներն ու ձևակերպումները ընկալում են որպես կրկնօրինակման ենթակա օրինաչափություններ: Հիմնական բացահայտումներից է այն, որ բացասական սահմանափակումները հաճախ չեն աշխատում, մինչդեռ կոնկրետ օրինակները և կանոնների դիրքը հուշման մեջ էապես ազդում են արդյունքի որակի վրա: Հեղինակը շեշտում է վերարտադրելիության համար ֆիքսված սերմերի (seeds) օգտագործման և մոդելի աշխատանքը ստուգելու համար ավտոմատացված թեստերի կարևորությունը: Համակարգային հուշումները որպես տվյալներ դիտարկելով՝ մշակողները կարող են ավելի լավ հասկանալ, թե ինչպես կառուցել հրահանգները՝ խուսափելու այնպիսի խնդիրներից, ինչպիսիք են ոճի անցանկալի փոխանցումը կամ սխալ կոդի գեներացումը: Հոդվածը հորդորում է մշակողներին խնդրահարույց կանոնները տեղափոխել հուշման վերին հատված և սուբյեկտիվ գնահատումից առաջնահերթությունը տալ էմպիրիկ թեստավորմանը:
This is a summary. Read the full article at the original source:
Dev.toԿապակցված
Meta-ի նոր AI գործակալը ցանկանում է ավելի անձնական դառնալ ձեզ համար
Meta-ն ներկայացրել է իր վերջին նորարարությունը՝ Muse AI գործակալը, որը նախատեսված է որպես օգտատերերի համար խիստ անհատականացված օգնական հանդես գալու հա…
Ի՞նչ է կատարվում OpenAI-ի և Նավիե-Ստոքսի հավասարումների շուրջ ծագած վեճի հետ
OpenAI-ը վերջերս հայտարարել է մաթեմատիկայի ոլորտում նշանակալի առաջընթացի մասին, որը վերաբերում է Նավիե-Ստոքսի հավասարումներին, որոնք նկարագրում են հեղ…
Խոշոր լեզվական մոդելները մշակում են նոր սոցիալական կողմնակալություններ՝ ադապտիվ ուսուցման միջոցով
OpenReview-ում հրապարակված վերջին գիտական աշխատանքը ուսումնասիրում է, թե ինչպես կարող են խոշոր լեզվական մոդելները (LLM) ձեռք բերել և դրսևորել նոր սոցի…