Ես վաճառում եմ հիշողության API-ներ և ստեղծում եմ չափորոշիչ. Ահա թե ինչպես եմ փորձում խուսափել կեղծիքներից

Wontopos-ի ծրագրավորող Woochan-ը ներկայացրել է նոր, թափանցիկ չափորոշիչ (benchmark), որը նախատեսված է LLM-ների հիշողության հնարավորությունները գնահատելու համար: Անդրադառնալով վաճառողների կողմից հրապարակված կատարողականի ցուցանիշների նկատմամբ համատարած թերահավատությանը՝ նախագիծը նպատակ ունի ստեղծել արդար և վերարտադրելի ստանդարտ: Չափորոշիչն օգտագործում է 1,9 միլիոն թոքենից բաղկացած հսկայական կորպուս՝ մոդելները փորձարկելով 14 ուղղություններով, ներառյալ հնացած փաստերի հայտնաբերումը, հակասությունների կարգավորումը և բազմալեզու հիշողությունը: Կողմնակալությունից խուսափելու համար նախագիծը բաց կոդով է՝ Apache 2.0 լիցենզիայով, իսկ հեղինակը սահմանել է խիստ կանոններ, ինչպիսիք են յուրաքանչյուր հարցի արդյունքների պարտադիր հրապարակումը և անկախ ստուգումը: Չափորոշիչը նաև ներկայացնում է լատենտայնության չափման նրբերանգ մոտեցում՝ առանձնացնելով ցանցային ծախսերը հաշվարկային կատարողականից: Թափանցիկությանն ու համայնքային վավերացմանը առաջնահերթություն տալով՝ հեղինակը ձգտում է ծրագրավորողներին տրամադրել հիշողության API-ները համեմատելու հուսալի միջոց՝ առանց մարքեթինգային հնարավոր կեղծիքների ազդեցության: