Արդյո՞ք գործիքների ելքային տվյալների սեղմումը նվազեցնում է կոդավորման գործակալների API-ի ծախսերը:
Torana շրջանակի մշակողների կողմից անցկացված վերջին փորձարկումը ուսումնասիրել է, թե արդյոք գործիքների ելքային տվյալների սեղմումը կարող է նվազեցնել կոդավորման գործակալների API-ի ծախսերը: Կոդավորման գործակալները սովորաբար յուրաքանչյուր քայլի հետ վերաուղարկում են ամբողջ պատմությունը՝ ներառյալ գործիքների ծավալուն ելքային տվյալները: Հետազոտությունը փորձարկել է սեղմման երկու մեթոդ՝ դետերմինիստական հիմնաբառերի զտում և մոդելով կառավարվող ամփոփում՝ համեմատած DeepSeek V4 Pro օգտագործող կառավարվող խմբի հետ: Արդյունքները ցույց են տվել, որ սեղմումը տվել է աննշան խնայողություններ՝ ընդամենը մոտ 2% միջին նվազեցմամբ: Այս արդյունքի հիմնական պատճառը ժամանակակից հուշումների քեշավորման (prompt caching) արդյունավետությունն է, որը կրկնվող համատեքստը դարձնում է գրեթե անվճար: Հուշումը սեղմված տվյալներով վերաշարադրելը հաճախ անվավեր է դարձնում քեշը, ինչը հանգեցնում է ավելի բարձր ծախսերի: Հեղինակը եզրակացնում է, որ թեև սեղմումը անարդյունավետ է ներկայիս քեշավորման տնտեսության պայմաններում, այն կարող է օգտակար լինել այն մատակարարների համար, որոնք ունեն քեշի ընթերցման թանկ սակագներ:
This is a summary. Read the full article at the original source:
Dev.toԿապակցված
LLM Guardrails. Ինչպես է աշխատում լեզվական մոդելների պաշտպանությունը
Habr-ում հրապարակված հոդվածում Selectel-ի անվտանգության ինժեներ Անտոնը քննարկում է մեծ լեզվական մոդելների (LLM) խոցելիությունը տարբեր տեսակի հարձակում…
Ի՞նչ անել, եթե Claude-ի հասանելիությունը կորել է, իսկ աշխատանքային գործընթացը կախված է դրանից:
Հոկտեմբերի սկզբից ռուսաստանցի օգտատերերը բախվել են Claude հաշիվների արգելափակման նոր ալիքի հետ։ Շատ ընկերությունների համար սա դարձել է կրիտիկական խնդի…
OpenAI-ն թարմացրել է ChatGPT-ն ինտերակտիվ գրաֆիկայով
OpenAI-ն ներկայացրել է «Intelligent UI»-ը՝ ChatGPT-ի նոր գործառույթը, որը թույլ է տալիս արհեստական բանականությանը ստեղծել ինտերակտիվ վիզուալ ինտերֆեյս…