Ես մարզել եմ իմ սեփական տեսողական-լեզվական մոդելը 1 միլիարդից պակաս պարամետրերով
Habr-ի հոդվածում հեղինակը կիսվում է սահմանափակ բյուջեով զրոյից կոմպակտ տեսողական-լեզվական մոդել (VLM) ստեղծելու իր փորձով: Օգտագործելով մեկ վարձակալված GPU՝ մշակողը փոքր լեզվական մոդելը միացրել է տեսողական կոդավորիչի (encoder) հետ: Գործընթացը ներառել է բոլոր փուլերը՝ ճարտարապետության նախագծումից մինչև ուսուցում և որակի գնահատում: 628 միլիոն պարամետր ունեցող վերջնական մոդելը կարողանում է նկարագրել պատկերներ, իսկ փորձի ընդհանուր արժեքը կազմել է մոտ 200 դոլար: Հեղինակը մանրամասն վերլուծում է տեխնիկական լուծումները, առաջին գործարկումների ժամանակ թույլ տրված սխալները և համակարգի վերջնական արդյունավետությունը: Այս նախագիծը ցույց է տալիս, որ նեյրոնային ցանցերի ուսուցման ժամանակակից մեթոդները թույլ են տալիս ստեղծել արդյունավետ մուլտիմոդալ լուծումներ նույնիսկ սահմանափակ ռեսուրսներ ունեցող անհատ մշակողների համար: Հոդվածը օգտակար կլինի նրանց համար, ովքեր հետաքրքրված են LLM-ների և համակարգչային տեսողության գործնական կիրառմամբ:
This is a summary. Read the full article at the original source:
HabrԿապակցված
Jev. նոր սերնդի մոդել՝ 40-400 անգամ ավելի էժան և 20-200 անգամ ավելի արագ
Typesafe AI ընկերությունը ներկայացրել է Jev-ը՝ նոր սերնդի մոդել, որը նախատեսված է լեզվական մեծ մոդելների աշխատանքի արժեքն ու արագությունը զգալիորեն օպ…
AI-ի գերեզմանոցը. այն նախագծերի և ստարտափների ցանկը, որոնք չհաջողեցին
TechCrunch-ը հրապարակել է AI-ի ներկայիս լանդշաֆտի համապարփակ ակնարկ՝ կենտրոնանալով այն բարձրակարգ նախագծերի և ստարտափների վրա, որոնք չեն արդարացրել սպ…
Արտակարգ իրավիճակների ծանուցման համակարգ 15 հազար օգտատերերի համար՝ LLM, PostGIS, Qdrant և Telegram
Հոդվածում ներկայացված է 15 հազար օգտատեր սպասարկող արտակարգ իրավիճակների ծանուցման համակարգի ճարտարապետությունը: Ինժեներական հիմնական խնդիրը հարյուրավ…