Ինչպես ես ստեղծեցի OenoBench գինու բենչմարկը՝ 3266 հարցերով, օգտագործելով LLM

Հոդվածի հեղինակը կիսվում է OenoBench-ի ստեղծման իր փորձով, որը գինու վերաբերյալ լեզվական մոդելների գիտելիքները գնահատող լայնածավալ բենչմարկ է: Նախագիծը ներառում է 38 104 փաստ և 3 266 հարց՝ պատասխանների տարբերակներով: Աշխատանքի հիմնական մասն ավտոմատացված էր. կոդը գրել է Claude Code-ը, հարցերը գեներացրել են հինգ տարբեր LLM-ներ, իսկ ստուգումն իրականացրել են տասը աուդիտոր գործակալներ: API-ի ընդհանուր ծախսերը կազմել են մոտ 800 դոլար: Հոդվածում մանրամասն վերլուծվում են գործընթացի տեխնիկական դժվարությունները՝ սկսած սքրեյփերների «հալյուցինացիաներից», որոնք հիմնվում էին մոդելների ներքին հիշողության վրա, մինչև LLM-դատավորների սխալների վերլուծությունը: Հեղինակը նաև քննարկում է 16 մոդելների վարքագիծը վերջնական առաջատարների աղյուսակում և եզրակացնում, որ գեներացված բենչմարկների ամենաբարդ հարցերը հաճախ ամենախնդրահարույցն են լինում տվյալների որակի տեսանկյունից: Այս դեպքը ցույց է տալիս AI գործակալների օգտագործման հնարավորությունները և սահմանափակումները բարդ գնահատման տվյալների հավաքածուներ ստեղծելիս: