Jev против Claude: кто победит?

В недавнем эксперименте разработчик Бен Гринберг сравнил производительность Jev, специализированной модели для структурированных решений, с Claude Sonnet в реальном рабочем процессе оценки проектов. Задача заключалась в проверке заявок на соответствие определенной политике, требуя выбора между «удовлетворено», «не удовлетворено» или «недостаточно доказательств». Хотя обе модели показали высокую точность, Jev продемонстрировала значительные преимущества в эффективности и надежности. Jev работала примерно в 50 раз дешевле Claude и была почти в десять раз быстрее. Важно отметить, что показатели уверенности Jev оказались более эффективными для выявления неоднозначных случаев, что позволило сделать автоматизацию более безопасной. Исследование показывает, что, хотя генеративные LLM превосходны в творческих задачах, специализированные модели «System One», такие как Jev, предлагают превосходную производительность и экономичность для ограниченного принятия решений. Автор делает вывод, что будущее рабочих процессов ИИ, вероятно, связано с гибридным подходом, использующим разные типы моделей в зависимости от конкретных задач.