Лимиты ChatGPT и локальные LLM: эксперимент с Hermes Agent

Автор статьи провел эксперимент по замене облачных возможностей Hermes Agent на локальные языковые модели, используя домашний ПК с видеокартой RTX 3080 и 32 ГБ оперативной памяти. В ходе исследования сравнивались модели Qwen и GLM при выполнении задач по архитектурному проектированию, редактированию текстов и извлечению данных. Тестировались различные уровни квантования, а также была реализована связка между клиентом Hermes на Mac и локальным сервером на Windows. Несмотря на успешную техническую настройку взаимодействия, автор отмечает, что достичь качества ответов, сопоставимого с облачными решениями, пока не удалось. В статье подробно описаны условия тестирования, замеры производительности и причины выбора модели Qwen 3.5 9B. Эксперимент демонстрирует текущие ограничения локальных LLM при попытке полноценной замены платных API-сервисов в повседневных рабочих задачах.