Ես փորձարկել եմ 36 AI մոդելներ կեղծ փաթեթների համար և ոչ մեկը չեմ գտել

Ծրագրավորող Արիշ Մանսուրը թողարկել է բենչմարկինգի գործիք, որը նախատեսված է գնահատելու, թե որքան հաճախ են AI մոդելները հալյուցինացիաներ առաջացնում գոյություն չունեցող ծրագրային փաթեթների վերաբերյալ: «hallucinated-packages» անվանումով բենչմարկը վերլուծում է LLM-ների կողմից ստեղծված կոդը՝ համեմատելով ներմուծված գրադարանները PyPI և npm ռեեստրների հետ: 36 մոդելների նախնական փորձարկման ժամանակ հեղինակը գրանցել է փաթեթների անունների հալյուցինացիայի 0% ցուցանիշ, ինչը վկայում է, որ առաջատար մոդելները հիմնականում հուսալի են գոյություն ունեցող գրադարանները տարբերելու հարցում: Այնուամենայնիվ, հաջորդող փորձնական տարբերակը (Version 7) ներկայացրեց ավելի խիստ ստուգումներ, ներառյալ իրական փաթեթների ներսում գոյություն չունեցող ֆունկցիաների հայտնաբերումը: Այս փուլը ցույց տվեց, որ թեև մոդելները հաճախ խուսափում են կեղծ փաթեթներից, նրանք հաճախ հալյուցինացնում են կոնկրետ ֆունկցիաների կանչեր լեգիտիմ գրադարաններում: Հեղինակը շեշտում է, որ պարզ ռեեստրային ստուգումները բավարար չեն համապարփակ բենչմարկինգի համար և հորդորում է համայնքին օգտագործել այս գործիքները՝ մոդելների հուսալիությունը իրական ծրագրավորման սցենարներում ստուգելու համար: