12 из 13 ИИ-моделей знали новое имя, но все равно написали старое

Недавнее исследование на Kaggle под названием «Semconv Drift» протестировало 17 ИИ-моделей на способность генерировать точный код инструментария OpenTelemetry. Результаты выявили значительное расхождение между знаниями моделей и их выводом: 12 из 13 моделей правильно называли обновленные атрибуты при прямом вопросе, но использовали устаревшие имена при написании кода. Исследование подчеркивает, что модели часто отдают предпочтение распространенным, но устаревшим паттернам из обучающих данных, а не актуальным спецификациям. Даже при наличии подсказок о версии количество ошибок снизилось лишь на 36%, а иногда модели придумывали несуществующие имена. Автор делает вывод, что использование ИИ для технических задач требует строгой проверки, так как модели могут создавать «полумеры» — например, обновлять единицы измерения, оставляя устаревшие имена, — которые проходят проверку кода, но ломают телеметрию. Разработчикам рекомендуется внедрять автоматизированный линтинг на соответствие официальным спецификациям вместо слепого доверия ИИ.