Может ли локальная LLM заменить Claude Code? Бенчмарк, на который все ссылаются, неверен.

Недавний анализ ставит под сомнение практику использования оценок SWE-bench для определения того, могут ли локальные LLM заменить облачных агентов, таких как Claude Code. Автор утверждает, что, хотя локальные модели все лучше справляются с написанием кода, они часто неэффективны в качестве надежных агентов из-за проблем с вызовом инструментов, ограничений контекстного окна и трудностей с многофайловым анализом. В статье подчеркивается, что надежность вызова инструментов — это отдельный навык, критически важный для агентных рабочих процессов. Вместо того чтобы рассматривать локальные модели как прямую замену, предлагается гибридный подход: использовать локальные модели для рутинных или конфиденциальных задач, а облачные модели — для сложных, многоэтапных проектов. В конечном итоге, автор делает вывод, что реальная ценность заключается в интеллектуальной маршрутизации между локальными и облачными ресурсами, а не в бинарном выборе между ними.