Sarrera-ի ստեղծումը. ինքնուրույն հոսթինգով ձեռնարկատիրական AI դարպաս՝ RBAC-ով, թոքենների քվոտաներով և հեռաչափությամբ

Sarrera-ն նոր բաց կոդով, ինքնուրույն հոսթինգով ձեռնարկատիրական AI դարպաս է, որը նախատեսված է ինժեներական թիմերին օգնելու կառավարել մասնավոր AI տեղակայումները: Լուծելով այնպիսի խնդիրներ, ինչպիսիք են տվյալների գաղտնիությունը, ամպային ծախսերի անվերահսկելիությունը և սարքավորումների մասնատվածությունը՝ Sarrera-ն տրամադրում է միասնական հարթակ տեղական AI ենթակառուցվածքի կառավարման համար: Docker Compose ճարտարապետության վրա հիմնված այս համակարգը ներառում է LiteLLM՝ երթուղավորման, Caddy՝ անվտանգ մուտքի, Langfuse՝ դիտարկման և Open WebUI՝ փոխգործակցության համար: Հարթակը թույլ է տալիս կազմակերպություններին սահմանել բազմամակարդակ բաժանորդագրության քվոտաներ, իրականացնել դերային մուտքի վերահսկողություն (RBAC) և կատարել խելացի բեռնվածության բաշխում տարասեռ GPU և CPU կլաստերների միջև: Sarrera-ն թիմերին հնարավորություն է տալիս պահպանել վերահսկողությունը թոքենների օգտագործման և ծախսերի նկատմամբ՝ միաժամանակ ապահովելով համապատասխանությունը: Նախագիծը հասանելի է GitHub-ում և առաջարկում է տեղակայման պարզեցված գործընթաց: