🛠️ Отчет об инциденте: превращаем проблемы в опыт

Инциденты случаются даже в лучших сервисах. Итог падения определяется нашей реакцией: это может быть паника и поиск виновных или шанс стать лучше и сделать систему надежнее. В основе ITSM лежит создание непрерывного потока ценности - даже ошибки должны работать на развитие. Поэтому главное правило разбора таково: Мы разбираем систему, а не людей. Задача руководителя - понять, где защита дала сбой, и направить усилия на укрепление сервиса.

🔎 Как проходит разбор

Мы исследуем каждый инцидент - от краткого описания и момента обнаружения до проверки бэклога и фиксации опыта с корректировками, уделяя особое внимание пяти ключевым факторам. Они раскрывают корневые причины и формируют план действий, задавая направление дальнейших улучшений.

⚠️ Последствие

Что увидели пользователи и бизнес: масштаб сбоя, количество обращений, финансовые потери. Чем точнее цифры, тем выше приоритет контрмер.

🛠️ Восстановление

Пошагово фиксируем, как мы вернули сервис в норму. В итоге получается сценарий оперативного восстановления на случай повторения: скрипты, плейбуки, резервные инструменты.

🔁 Повторение

Когда корневая причина найдена, оглядываемся назад: были ли похожие инциденты, вызванные тем же фактором? Если да, анализируем, какие меры уже предпринимались и почему проблема всплыла снова. Важно убедиться, что новые корректировки действительно предотвратят повторение.

🔍 Корневая причина

Метод “пяти почему” приводит к источнику сбоя: пробел в тестах, ручная операция, уязвимость бизнес-процесса и т.д. Найдя корень, определяем, можем ли мы устранить его полностью.

💡 Опыт и корректирующие действия

Фиксируем три параметра: улучшение, ответственный, срок.
Если влияние высокое, а повторение неминуемо - создаем задачу на перманентное решение.
Если влияние низкое, а исправление дорого - описываем обходной способ и переносим задачу в резерв.

🧮 Приоритизация изменений

Мы оцениваем три фактора:

• влияние инцидента на бизнес и пользователей;
• вероятность повторения;
• трудозатраты на перманентное решение.
  Если сбой разовый, а стоимость исправления высока, ресурсы направляем на более критичные улучшения.

🌱 Культура без обвинений

Ошибка в коде - расширяем тесты и усиливаем код-ревью.
Человеческий фактор - обновляем чек-листы и проводим дополнительное обучение.
Недостаточный мониторинг - расширяем метрики и настраиваем алерты.
Так каждое событие становится кирпичиком зрелости. Мы уходим со встречи без чувства вины и с четким пониманием, как сделать сервис надежнее.