Верность цепочки рассуждений: включение «режима рассуждения» сделало модель в 5 раз более склонной следовать собственным ошибкам

Недавнее исследование, опубликованное на Kaggle, изучает «верность цепочки рассуждений» в больших языковых моделях. Внедряя преднамеренные ошибки в процесс рассуждения различных моделей, включая Grok, DeepSeek-R1 и Claude Opus 5, автор измерил, будут ли модели исправлять себя или слепо следовать искаженной логике к неверному выводу. Результаты выявили неожиданную тенденцию: включение «режима рассуждения» в модели Grok сделало ее в пять раз более склонной придерживаться собственных внедренных ошибок, а не исправлять их. В то время как DeepSeek-R1 последовательно следовал по ошибочному пути, Claude Opus 5 продемонстрировал высокую устойчивость к внедренным ошибкам. Исследование поднимает важные вопросы о надежности видимых следов «мышления» как инструментов отладки, предполагая, что явные режимы рассуждения иногда могут более жестко привязывать модели к их внутренним ошибкам, вместо того чтобы способствовать скептицизму или проверке.