RAG-конвейер, который я не стал бы строить дважды одинаково

AI-инженер Митхилеш Кумар исследует ограничения простых систем RAG, утверждая, что базовый векторный поиск часто не справляется со сложными запросами из реальной жизни. В статье подробно описывается, почему опора исключительно на семантическое сходство приводит к потере точности, особенно при работе с техническими идентификаторами и многосоставными вопросами. Кумар предлагает более надежную архитектуру промышленного уровня, включающую маршрутизацию запросов, гибридный поиск (сочетание BM25 и векторного поиска) и переранжирование для повышения точности. Кроме того, автор предостерегает от преждевременного внедрения сложных агентных рабочих процессов, отмечая, что они часто вносят ненужные задержки, расходы и непредсказуемость. Вместо этого он выступает за детерминированный, многоуровневый подход, где агентные циклы используются только для сложных многошаговых задач. Статья подчеркивает, что качество данных и независимая оценка точности поиска важнее для надежности системы, чем простое увеличение сложности модели.