8 LLM, 480 вопросов, 1 бенчмарк Kaggle: кто может объяснить падение трафика?

Нишиканта Рэй, создатель аналитической платформы с открытым исходным кодом InsightTrack, представил комплексный бенчмарк для оценки работы различных языковых моделей (LLM) в качестве ИИ-аналитиков данных. Тестирование 480 сценариев — от выбора инструментов до сложной диагностики трафика — выявило критические компромиссы между стоимостью и точностью. Исследование показало, что, хотя большинство моделей отлично справляются с базовым выбором инструментов, они испытывают значительные трудности с нюансированным мышлением. Более дешевые модели часто демонстрируют опасное поведение, например, выдумывая причины колебаний трафика или игнорируя реальные проблемы. Результаты показывают, что для специализированных задач, таких как диагностика данных, способности к рассуждению имеют решающее значение, и такие модели, как Gemini 3.7 Flash, предлагают оптимальный баланс производительности и стоимости. Проект подчеркивает, что разработчикам следует отдавать приоритет логике на основе кода для задач с пороговыми значениями, используя ИИ преимущественно для интерпретации, чтобы обеспечить надежность бизнес-аналитики.