Я попросил своего ИИ-агента создать частный LLM-клиент/сервер. Он сделал это на MQTT и 1000 строках кода

Разработчик создал легкую и приватную клиент-серверную архитектуру для доступа к локальной LLM на базе Ollama с мобильного устройства, не открывая домашнюю инфраструктуру для интернета. Используя MQTT в качестве шины сообщений, система позволяет как клиенту, так и хост-компьютеру подключаться к брокеру, исключая необходимость в пробросе портов, обратных прокси или VPN. Все решение состоит примерно из 1000 строк кода, включая веб-интерфейс, локальную службу и плагин на Python. Проект, написанный на языке AllSpeak, делает упор на минимальную поверхность атаки, используя токены доступа для аутентификации и списки контроля доступа (ACL) MQTT для изоляции. Этот подход обеспечивает безопасный и быстрый способ взаимодействия с локальными моделями, ускоренными на GPU, сохраняя полный контроль над сетевой средой и избегая сложности традиционных контейнеризированных или облачных решений.