Համապարփակ վերլուծություն. Կալիբրացիայի փուլը (EXP01–07) – LLM-ների համար էպիստեմիկ դարպասի ստեղծում
Ծրագրավորող Էդուարդո Այալան ներկայացրել է իր «Beatriz» նախագծի մանրամասն տեխնիկական վերլուծությունը՝ էպիստեմիկ դարպաս, որը նախատեսված է LLM-ների ճշգրտման (fine-tuning) ընթացքում տվյալների թունավորումը կանխելու համար: 17-օրյա փորձարարական ժամանակահատվածում Այալան անցկացրել է 16 փորձ՝ կատարելագործելու մի մեխանիզմ, որը տարբերակում է ճշմարիտ և կեղծ տեղեկատվությունը: Հիմնական նորարարությունը վեկտորային դարպասն է, որն օգտագործում է սեմանտիկ երկրաչափություն՝ պարզ բառային համընկնման փոխարեն, զուգորդված Softplus կորստի սահմանափակ ֆունկցիայի հետ՝ մոդելի փլուզումը կանխելու համար: Տարբեր կոնֆիգուրացիաների համեմատությունը ցույց է տալիս, որ ճարտարապետական ընտրությունները, ինչպիսիք են LoRA-ի կիրառումը, ավելի արդյունավետ են եղել պերպլեքսիան վերահսկելու համար: Նախագիծը, որը մշակվել է հին սարքավորումների վրա, այժմ հասանելի է որպես բաց կոդով ծրագրակազմ՝ ապահովելով թափանցիկություն LLM-ների համար ավելի հուսալի ճշգրտման խողովակաշարեր կառուցելու գործում:
This is a summary. Read the full article at the original source:
Dev.toԿապակցված
Meta-ի նոր AI գործակալը ցանկանում է ավելի անձնական դառնալ ձեզ համար
Meta-ն ներկայացրել է իր վերջին նորարարությունը՝ Muse AI գործակալը, որը նախատեսված է որպես օգտատերերի համար խիստ անհատականացված օգնական հանդես գալու հա…
Ի՞նչ է կատարվում OpenAI-ի և Նավիե-Ստոքսի հավասարումների շուրջ ծագած վեճի հետ
OpenAI-ը վերջերս հայտարարել է մաթեմատիկայի ոլորտում նշանակալի առաջընթացի մասին, որը վերաբերում է Նավիե-Ստոքսի հավասարումներին, որոնք նկարագրում են հեղ…
Խոշոր լեզվական մոդելները մշակում են նոր սոցիալական կողմնակալություններ՝ ադապտիվ ուսուցման միջոցով
OpenReview-ում հրապարակված վերջին գիտական աշխատանքը ուսումնասիրում է, թե ինչպես կարող են խոշոր լեզվական մոդելները (LLM) ձեռք բերել և դրսևորել նոր սոցի…