Real-SWE. AI մոդելների փորձարկում մասնավոր, իրական ձեռնարկատիրական ծրագրային կոդերի վրա

Real-SWE-ի մշակողները ներկայացրել են նոր գնահատման շրջանակ, որը նախատեսված է մասնավոր, իրական ձեռնարկատիրական կոդերի վրա AI մոդելների աշխատանքը գնահատելու համար: Ի տարբերություն գոյություն ունեցող չափանիշների, որոնք հաճախ հիմնվում են հանրային պահեստների կամ սինթետիկ առաջադրանքների վրա, Real-SWE-ը կենտրոնանում է լայնածավալ, սեփական ծրագրային միջավայրերին բնորոշ բարդությունների վրա: Փորձարկելով մոդելները իրական ձեռնարկատիրական կոդերի դեմ՝ հարթակը նպատակ ունի ավելի ճշգրիտ գնահատել, թե ինչպես են AI օգնականները աշխատում պրոֆեսիոնալ ծրագրային ապահովման մշակման գործընթացներում: Այս նախաձեռնությունը լուծում է AI-ի գնահատման ներկայիս լանդշաֆտում առկա կարևոր բացը, որտեղ մոդելները հաճախ դժվարանում են հաղթահարել կորպորատիվ միջավայրերում հանդիպող նրբությունները, կախվածությունները և անվտանգության սահմանափակումները: Այս գործիքը մշակողներին և կազմակերպություններին առաջարկում է թափանցիկ միջոց՝ չափելու AI կոդավորման գործակալների գործնական օգտակարությունը՝ նախքան դրանք արտադրական միջավայրում տեղակայելը: