Черновики, которые не вышли: считают ли LLM мертвые предложения реальными стандартами?

Новое исследование изучает, ошибочно ли большие языковые модели (LLM) воспринимают отклоненные или заброшенные технические предложения — такие как отозванные эмодзи, отложенные Python PEP и истекшие черновики IETF — как действующие стандарты. Были протестированы восемь моделей от пяти различных лабораторий. Результаты показывают, что модели часто выдают «мертвые» предложения за реальные: 26% ответов утверждают, что нереализованные стандарты существуют. Даже когда модели правильно определяют статус предложения, они часто включают их в сгенерированный код или цитаты, что приводит к ошибкам компиляции или вымышленным ссылкам на RFC. Исследование подчеркивает, что, хотя предоставление фактических доказательств в промптах значительно снижает количество ошибок, проблема остается актуальной как для малых, так и для крупных моделей, что указывает на то, что устаревшие спецификации в обучающих данных являются основным источником подобных технических галлюцинаций.