Эффективность панели из 25 верификаторов составила 1.00

Исследовательский проект с открытым исходным кодом IDKMesh опубликовал результаты, ставящие под сомнение предположение о том, что увеличение числа рецензентов повышает надежность процесса проверки. В ходе эксперимента с использованием 25 различных программных верификаторов исследователи обнаружили, что эффективный размер панели составил всего 1.00, что означает, что коллективный результат оказался не надежнее, чем работа одного верификатора. Исследование показывает, что корреляция ошибок между верификаторами значительно выше ожидаемой, даже при работе в разных областях. Автор отмечает, что стандартные эвристики для расчета эффективного количества рецензентов часто переоценивают производительность, создавая ложное чувство безопасности в автоматизированных или экспертных системах проверки. Проект, находящийся на стадии предварительного исследования, предоставляет разработчикам инструменты для аудита собственных панелей проверки и призывает к дальнейшему изучению того, сохраняются ли эти закономерности в системах проверки на базе ИИ.