Не трогая веса модели: как мы построили исследовательского агента Алисы AI и в разы сократили потребление GPU

Прохор, лид команды агента «Исследовать» в Алисе AI, рассказывает об эволюции инструмента глубокого поиска. Агент способен составлять сложные планы, выполнять сотни поисковых запросов, взаимодействовать с динамическим контентом сайтов и запускать Python-код для вычислений. В статье описывается путь от прототипа до полноценного продакшена, подчеркивая важность продуктовых целей, определенных продакт-менеджером Русланом Илиевым. Основное внимание уделено техническим оптимизациям, которые позволили значительно сократить потребление GPU без изменения весов самой нейросетевой модели. Авторы делятся опытом преодоления трудностей, включая отказ от первоначального прототипа и внедрение многоуровневой архитектуры обвязки. Этот кейс демонстрирует, как системный подход к разработке агентов и эффективное управление ресурсами позволяют масштабировать сложные AI-решения для миллионов пользователей, сохраняя при этом высокое качество ответов и производительность системы.