Исправление из 6 строк, которое превзошло всю мою неделю работы над матчером

Разработчик Дебашиш Госал делится важным опытом в отладке и оптимизации производительности при работе над CauterRule, инструментом с открытым исходным кодом для извлечения правил из сбоев агентов. Потратив неделю на четыре сложных исправления для матчера воспроизведения, что дало лишь 10% прироста, он обнаружил простое исправление из 6 строк в логике классификации симулятора. Правильно идентифицируя траектории «восстановления» вместо ошибочной маркировки их как «сломанных» успехов, автор добился роста показателя успешности с 20% до 50%. Автор подчеркивает, что если узкие места сохраняются в разных моделях, проблема часто кроется в уровне оценки или классификации, а не в самих моделях. Этот опыт подчеркивает важность повторного запуска тестов после каждого исправления и предостерегает от чрезмерной оптимизации конкретного слоя только потому, что он ранее считался узким местом.