Xiaomi MiMo. մեկ տրիլիոն պարամետր, որոնցից աշխատում է չորս տոկոսը

Xiaomi ընկերությունը ներկայացրել է MiMo լեզվական մոդելների ընտանիքը, որն ընդգրկում է կոնֆիգուրացիաների լայն շրջանակ՝ 7 միլիարդ պարամետր ունեցող փոքր մոդելներից մինչև մեկ տրիլիոն պարամետր պարունակող Mixture of Experts (MoE) ճարտարապետությամբ լայնածավալ լուծում։ Հայտարարության հիմնական առանձնահատկությունը հաշվողական ռեսուրսների օգտագործման բարձր արդյունավետությունն է. չնայած պարամետրերի հսկայական ընդհանուր ծավալին, տեքստի գեներացման գործընթացում դրանցից ակտիվանում է միայն մոտ չորս տոկոսը։ Այս մոտեցումը թույլ է տալիս զգալիորեն արագացնել մոդելի աշխատանքը և նվազեցնել սարքավորումների նկատմամբ պահանջները՝ առանց պատասխանների որակի էական կորստի։ Փորձագետները նշում են, որ նոսր ճարտարապետությունների (sparse models) օգտագործումը դառնում է արդյունաբերության նոր ստանդարտը, ինչը թույլ է տալիս ընկերություններին մասշտաբավորել AI-ի հնարավորությունները մինչև տրիլիոնային արժեքներ՝ պահպանելով ինֆերենսի ընդունելի արագությունը։ Այս մշակումն ընդգծում է Xiaomi-ի ձգտումը՝ ամրապնդելու իր դիրքերը գեներատիվ արհեստական բանականության ոլորտում՝ առաջարկելով ճկուն գործիքներ տարբեր խնդիրների համար։