Куда делись мои данные? Тестирование LLM в качестве детективов конвейеров данных

Новое исследование изучает эффективность различных больших языковых моделей (LLM) в диагностике сбоев в конвейерах обработки данных. Автор смоделировал 15 типичных сценариев, от ошибок при загрузке до некорректных слияний, чтобы проверить, могут ли модели точно определить причину отсутствия записей или правильно сообщить, когда журналов недостаточно для вывода. Результаты показывают, что стоимость и скорость модели не обязательно коррелируют с точностью. В то время как дорогие модели, такие как Claude Sonnet 5, часто делали предположения в неоднозначных случаях, более дешевые альтернативы, такие как GPT-6 Luna, продемонстрировали высокую надежность. Исследование подчеркивает, что наличие четких правил в промпте критически важно для предотвращения спекулятивных догадок моделей в «глухих» делах. В конечном итоге, исследование доказывает, что при правильной настройке даже небольшие и экономичные модели могут служить эффективными помощниками для инженеров данных при расследовании сложных проблем в конвейерах.