Все компоненты зелёные, а продакшн лежит: разбор аварии, которую нашли в git

В статье рассматривается поучительный кейс инцидента, когда инфраструктура компании оставалась полностью работоспособной согласно метрикам мониторинга, однако продакшн-сервисы были недоступны в течение двадцати минут. Несмотря на идеальные показатели базы данных и отсутствие ошибок в облачной инфраструктуре, команда не могла оперативно выявить причину сбоя. Автор подчеркивает, что проблема скрывалась в истории изменений конфигурации инфраструктуры, которую инженеры проигнорировали в первые минуты аварии. Разбор инцидента наглядно демонстрирует, что даже при наличии развитого мониторинга и покрытия инфраструктуры кодом, человеческий фактор и анализ истории изменений в Git остаются критически важными элементами при поиске причин сбоев. Статья призывает специалистов уделять больше внимания аудиту изменений в коде инфраструктуры, так как именно там часто кроются неочевидные причины крупных системных ошибок, которые не фиксируются стандартными системами мониторинга.