Как я создал систему отложенного обнаружения инструментов для своего AI-ассистента (без использования эмбеддингов)

Разработчик Ankita, AI-ассистента с открытым исходным кодом, внедрил систему отложенного обнаружения инструментов для оптимизации использования токенов и производительности. Избегая предварительной загрузки всех схем инструментов, ассистент экономит контекстное пространство, что критически важно для эффективности приложений на базе LLM. Вместо использования сложных векторных эмбеддингов система применяет функцию «find_tools», которая сопоставляет запросы пользователей с курируемым каталогом на основе ключевых слов. Такой подход обеспечивает предсказуемость и удобство отладки, сохраняя CLI свободным от зависимостей времени выполнения. Кроме того, ассистент поддерживает «навыки» — процедурные инструкции в формате markdown, которые загружаются по требованию. Эта архитектура позволяет ассистенту оставаться легким и отзывчивым, доказывая, что простая логика на основе правил зачастую превосходит более сложные решения машинного обучения для конкретных задач автоматизации рабочего стола. Проект доступен на GitHub для обратной связи и дальнейшего развития.