Gemini 4-ը հաղթել է բենչմարկներում. ինչու է դա ավելի քիչ խոսում մոդելի որակի մասին

Google-ը ներկայացրել է Gemini 4 Argon-ը, որը, ըստ պաշտոնական տվյալների, առաջատար է 18 բենչմարկներից 12-ում: Այնուամենայնիվ, փորձագետները նշում են, որ իրավիճակը կրկնում է Gemini 3.1 Pro-ի թողարկման սցենարը, որը հետագայում իրական առաջադրանքներում զիջեց մրցակիցներին: Հոդվածում ընդգծվում է, որ սինթետիկ թեստերի արդյունքները դառնում են ավելի քիչ ներկայացուցչական՝ մեծ լեզվական մոդելների իրական հնարավորությունները գնահատելու համար: Չնայած աղյուսակներում տպավորիչ թվերին, «թղթային» արդյունավետության և գործնական կիրառման միջև եղած տարբերությունը շարունակում է մեծանալ: Հեղինակը նշում է, որ AI արդյունաբերությունը ավելի հաճախ է բախվում այն խնդրին, երբ բենչմարկները դադարում են արտացոլել նեյրոնային ցանցերի աշխատանքի իրական որակը, ինչը դրանք դարձնում է ավելի քիչ հուսալի գործիք օգտատերերի և մշակողների համար՝ իրական բիզնես խնդիրների համար մոդել ընտրելիս: