Հետ
Ծրագրավորում և բաց կոդ

Մեր Recall-ը 0.087 էր, իսկ մոդելը՝ անմեղ. ինչպես դոմենային սահմանափակումը կրկնապատկեց այն

Dev.to
Advertisement468 × 90
Մեր Recall-ը 0.087 էր, իսկ մոդելը՝ անմեղ. ինչպես դոմենային սահմանափակումը կրկնապատկեց այն

CauterRule-ի՝ գործակալների ձախողումների ավտոմատ վերականգնման բաց կոդով գործիքի մշակողը լուծել է մի խնդիր, որտեղ recall ցուցանիշները մնում էին ցածր՝ 0.087 մակարդակում: Սկզբում թիմը կասկածում էր համընկնման ալգորիթմի (matcher) վրա, սակայն հետազոտությունը ցույց տվեց, որ խնդիրը գնահատման մեթոդաբանության մեջ է: Օգտագործելով ընդհանուր տվյալների բազա՝ դոմենային կոնկրետ կանոնները անարդարացիորեն տուժում էին անհամապատասխան դեպքերի պատճառով: Ներդնելով «դոմենային սահմանափակումով վերարտադրում»՝ թիմը հաջողությամբ կրկնապատկեց recall-ի ցուցանիշները՝ առանց մոդելները կամ հուշումները փոխելու: Այս փոփոխությունը ընդգծում է գնահատման հավաքածուի կազմման կարևորությունը՝ ցույց տալով, որ մոդելների միատեսակ վատ աշխատանքը հաճախ վկայում է գնահատման սխալի, այլ ոչ թե կարողությունների սահմանափակման մասին: Թարմացումը հասանելի է CauterRule v0.3.0 տարբերակում, որը ներառում է բարելավված չափանիշներ և ախտորոշիչ հնարավորություններ:

This is a summary. Read the full article at the original source:

Dev.to
Advertisement468 × 90
Share
Ծրագրավորում և բաց կոդ

Կապակցված

Habr-ի հոդվածը ուսումնասիրում է այն պատմական պատճառները, որոնք թույլ տվեցին Ցարիցինին (այժմ՝ Վոլգոգրադ) դառնալ Ստորին Վոլգայի տարածաշրջանի առանցքային…

Habr

Մշակողների թիմը ընդամենը երկու շաբաթում ստեղծել է կարգավորող թեմատիկայով տեղեկատու, սակայն գործարկումից յոթ օր անց հայտնաբերել է համակարգի հիմնական պա…

Habr
Advertisement970 × 250