Тест казался избыточным. Девятая ошибка доказала обратное.

В своей недавней статье разработчик Сергей Парфенов исследует, почему кажущиеся избыточными тесты необходимы для надежности кода. На примере функции фильтрации заказов на Python Парфенов демонстрирует, как набор тестов может казаться полным при проверке на ограниченном количестве ошибочных реализаций. Однако введение «девятого кандидата» — реализации, которая сохраняет порядок, но неверно дублирует совпадения — показало, что ранее отвергнутый тест был единственным способом обнаружить эту ошибку. Автор утверждает, что показатели мутационного тестирования могут вводить в заблуждение, если каталог ошибок недостаточно широк. Парфенов подчеркивает, что вместо удаления тестов из-за предполагаемой избыточности, разработчикам следует тщательно анализировать требования, которые обеспечивает каждый тест. Полный эксперимент, включая код, diff-файлы мутаций и подробные результаты, доступен на GitHub, предоставляя практическую базу для оценки эффективности наборов тестов.