Whisper продолжает исправлять нигерийскую речь. Вот как я это измерила

Разработчик Надин В. представила исследование, посвященное тому, как модели распознавания речи OpenAI Whisper справляются с нигерийским английским и пиджином. Исследование выявило проблему: стандартные модели часто «исправляют» диалектную лексику на стандартный английский, что приводит к неточным транскрипциям. Сравнив работу моделей Whisper large-v3 и small с дообученной версией, автор показала, что дообучение может снизить частоту ошибок в словах (WER) примерно на 80%. Был разработан автоклассификатор на основе 120 диалектных правил для разграничения реальных ошибок распознавания и преднамеренной нормализации диалекта. Результаты показывают, что стандартные метрики часто штрафуют модели за правильную транскрипцию местных диалектов. Проект, включающий подробную методологию и скрипты с открытым исходным кодом, подчеркивает важность оценки того, как модели справляются с лингвистическим разнообразием, а не только традиционными показателями ошибок. Полный анализ и наборы данных доступны на GitHub и Kaggle.