Я опросил 123 человека в Индии, чтобы протестировать передовые модели ИИ

Новое исследование оценило, как передовые модели ИИ справляются со сложными институциональными дилеммами в Индии. Опросив 123 студентов, исследователь создал набор данных из 24 реальных споров в сферах образования, здравоохранения, правосудия и финансов. Были протестированы модели Gemini, Claude, Qwen и DeepSeek, с акцентом на устойчивость к неоднозначности и демографический паритет. Результаты выявили «парадокс предвзятости рассуждений»: модели с расширенными функциями мышления часто генерировали обоснования, приводящие к изменению решений в зависимости от демографических данных. Хотя некоторые модели показали стабильность в финансовых сценариях, другие испытывали трудности с задачами в области правосудия. Исследование подчеркивает, что демографический паритет остается нерешенной проблемой. Автор представил подробную таблицу лидеров на Kaggle, призывая к дальнейшему изучению влияния региональных языковых смещений и правовых прецедентов на производительность моделей.