Սերվերազուրկ գերհամակարգիչ. 1 միլիոն AI հակիրճ տեղեկատվության գեներացում 48 դոլարով

Dev.to-ի վերջին հոդվածը ներկայացնում է ծախսարդյունավետ այլընտրանք թանկարժեք AI API-ներին՝ մեծածավալ խմբաքանակային մշակման համար: «Bring-Your-Own-LLM» մոտեցման կիրառմամբ մշակողները կարող են շրջանցել OpenAI-ի կամ Anthropic-ի նման ծառայությունների սահմանափակումներն ու բարձր գները: Առաջարկվող ճարտարապետությունը օգտագործում է AWS Step Functions և Distributed Map՝ մինչև 10,000 զուգահեռ AWS Lambda գործարկումներ կազմակերպելու համար: Տեղադրելով քվանտացված բաց կոդով մոդելներ, ինչպիսին է Llama 3.2-ը, անմիջապես Lambda կոնտեյներներում, ընկերությունները կարող են րոպեների ընթացքում մշակել միլիոնավոր անհատականացված AI հաղորդագրություններ: Այս սերվերազուրկ «մեղվաբույլի» ռազմավարությունը զգալիորեն նվազեցնում է եզրակացության ծախսերը՝ ավանդական API մեթոդների համեմատ կրճատելով դրանք ավելի քան 98%-ով: Թեև այս մոտեցումը իդեալական է ասինխրոն խմբաքանակային առաջադրանքների համար, հեղինակը նշում է, որ այն պահանջում է զուգահեռականության քվոտաների մանրակրկիտ կառավարում և պիտանի և հարմար չէ իրական ժամանակի հավելվածների համար՝ սառը մեկնարկի և մոդելի չափի սահմանափակումների պատճառով: