Повторять или не повторять? Вот в чем вопрос.

Разработчик Даниэль Балкарек опубликовал новый бенчмарк, оценивающий, как различные модели ИИ справляются с логикой повторных попыток API. Эксперимент, представленный на Kaggle Benchmarking Challenge, проверяет, могут ли LLM правильно определить, следует ли повторять неудачный HTTP-запрос, основываясь на контексте, таком как ключи идемпотентности, методы HTTP и коды состояния. Тестирование моделей, включая GPT-5.6, Gemini 3.7 и Claude Sonnet 5, показывает, что, хотя модели хорошо справляются с базовыми задачами, они часто ошибаются в нюансированных сценариях, где контекст противоречит очевидным сигналам, таким как заголовки «Retry-After». Результаты подчеркивают, что даже продвинутые модели могут попадать в системные ловушки, что говорит о необходимости человеческого контроля при реализации сложной политики обработки ошибок. Полный бенчмарк, включающий 14 различных сценариев сбоев, доступен на Kaggle для дальнейшего изучения.