Ես իմ AI գործակալից խնդրեցի մասնավոր LLM հաճախորդ/սերվեր. Այն կառուցեց այն MQTT-ի և 1000 տող կոդի միջոցով
Ծրագրավորողը ստեղծել է թեթև և մասնավոր հաճախորդ/սերվեր ճարտարապետություն՝ բջջային սարքից տեղական Ollama-ի վրա հիմնված LLM-ին հասանելիություն ստանալու համար՝ առանց տնային ենթակառուցվածքը ինտերնետին բացահայտելու: Օգտագործելով MQTT-ն որպես հաղորդագրությունների փոխանցման համակարգ՝ համակարգը թույլ է տալիս և՛ հաճախորդին, և՛ հոսթինգային համակարգչին միանալ բրոքերին՝ վերացնելով պորտերի փոխանցման, հակադարձ պրոքսիների կամ VPN-ների անհրաժեշտությունը: Ամբողջ լուծումը կազմված է մոտ 1000 տող կոդից, ներառյալ բրաուզերային ինտերֆեյսը, տեղական ծառայությունը և Python պլագինը: AllSpeak լեզվով կառուցված այս նախագիծը շեշտը դնում է անվտանգության նվազագույն մակարդակի վրա՝ օգտագործելով մուտքի նշաններ (tokens) նույնականացման համար և MQTT ACL-ներ՝ մեկուսացման համար: Այս մոտեցումը ապահովում է տեղական GPU-ով աշխատող մոդելների հետ փոխգործակցության անվտանգ և արագ եղանակ՝ պահպանելով ցանցային միջավայրի լիակատար վերահսկողությունը:
This is a summary. Read the full article at the original source:
Dev.toԿապակցված
«Արագ JSON»-ից դեպի հոսքային տվյալների մշակում. պարադիգմի փոփոխություն արձանագրությունների արդյունավետության գնահատման մեջ
Հոդվածում քննարկվում է ավանդական JSON-ի վերլուծության մեթոդներից դեպի տվյալների հոսքային մշակման ճարտարապետություն անցումը: Հեղինակը շեշտում է, որ Sil…
BetterWebSearch MCP. Առանց API բանալու, բաց կոդով վեբ որոնման գործիք AI գործակալների համար
PhantomPixelDev-ը թողարկել է BetterWebSearch MCP-ն՝ բաց կոդով Model Context Protocol սերվեր, որը նախատեսված է AI գործակալների կողմից վեբ հետազոտությու…
Արդյո՞ք մեզ դեռ անհրաժեշտ են կոդի վերանայումներ կոդավորող գործակալների դարաշրջանում
Քանի որ կոդավորող գործակալները դառնում են ունակ ստեղծելու ամբողջական ֆունկցիոնալներ և pull request-ներ, կոդի վերանայման ավանդական գործընթացը կանգնած է…