Միայն հուշումների (prompt) վրա հիմնված AI-ի թաքնված հարկերը
AI հիշողության ստեկի կառուցման իր շարքի ութերորդ մասում Քեն Ուոլգերը վերլուծում է այն ճարտարապետական ծախսերը, որոնք առաջանում են բացառապես մեծ հուշումների (prompts) վրա հիմնվելուց: Հեղինակը պնդում է, որ համատեքստային պատուհանները որպես անսահմանափակ հիշողություն օգտագործելը հանգեցնում է «ճարտարապետական հարկերի»՝ ուշացումների, հաշվարկային ռեսուրսների և ուշադրության կորստի տեսքով: Նա առանձնացնում է հինգ հիմնական հարկ՝ արձակագիր, համատեքստային, որոնողական, դիտորդի և ներմուծման: Փոխարենը հուշումները պարզապես ընդլայնելուն, հեղինակը կոչ է անում ավելի կարգապահ մոտեցում ցուցաբերել հիշողության ենթակառուցվածքի նկատմամբ՝ շեշտելով, որ պահեստավորումը և հաղորդակցությունը տարբեր խնդիրներ են: Կառուցվածքային և ստուգված տվյալների օպտիմալացման միջոցով մշակողները կարող են նվազեցնել ավելորդ ծախսերը: Վերջնական նպատակը ոչ թե բոլոր ծախսերը վերացնելն է, այլ ռեսուրսները ճիշտ տեղում ծախսելը՝ ապահովելով համակարգի հուսալիությունն ու թափանցիկությունը:
This is a summary. Read the full article at the original source:
Dev.toԿապակցված
Jev. նոր սերնդի մոդել՝ 40-400 անգամ ավելի էժան և 20-200 անգամ ավելի արագ
Typesafe AI ընկերությունը ներկայացրել է Jev-ը՝ նոր սերնդի մոդել, որը նախատեսված է լեզվական մեծ մոդելների աշխատանքի արժեքն ու արագությունը զգալիորեն օպ…
AI-ի գերեզմանոցը. այն նախագծերի և ստարտափների ցանկը, որոնք չհաջողեցին
TechCrunch-ը հրապարակել է AI-ի ներկայիս լանդշաֆտի համապարփակ ակնարկ՝ կենտրոնանալով այն բարձրակարգ նախագծերի և ստարտափների վրա, որոնք չեն արդարացրել սպ…
Արտակարգ իրավիճակների ծանուցման համակարգ 15 հազար օգտատերերի համար՝ LLM, PostGIS, Qdrant և Telegram
Հոդվածում ներկայացված է 15 հազար օգտատեր սպասարկող արտակարգ իրավիճակների ծանուցման համակարգի ճարտարապետությունը: Ինժեներական հիմնական խնդիրը հարյուրավ…