사후 분석 작업 흐름 런북

서비스 복구가 검증된 후 인시던트를 최종 종료하기 전에 이 런북을 사용합니다. 인시던트의 타임라인, 의사 결정, 조치, 복구 증거를 정리하여 측정 가능한 후속 조치가 포함된 승인된 기록으로 만듭니다.

사후 분석에서는 증거로 뒷받침되는 내용을 설명합니다. 증거로 입증되지 않은 원인은 가설로 남겨둡니다. 타임라인을 깔끔하게 정리하기 위해 시스템이 생성한 기록을 수정하지 말고 원본 그대로 보존합니다.

시작 조건 및 역할

서비스 복구가 관찰 기간을 통과하고 인시던트 담당자가 공식 감사 기록과 증거의 참조 위치를 식별할 수 있을 때 시작합니다.

역할	책임
인시던트 담당자	영향, 시간 순서, 복구 상태, 종료 결정을 책임집니다.
진행자	검토를 이끌고 근거와 해석을 구분합니다.
작업 담당자	기한과 측정 가능한 완료 근거가 있는 후속 조치를 수락합니다.
검토자	기록에 근거가 있고 누락이 없으며 안전하게 공유할 수 있는지 확인합니다.

진행자는 검토를 개인에게 책임을 돌리는 데 사용하지 않는 것이 좋습니다. 분석 대상은 시스템, 결정 당시의 맥락, 그리고 작동했거나 작동하지 않은 통제 수단입니다.

필수 입력

인시던트 기록: 범위, 심각도 이력, 구성원, 소유자, 상태 전이입니다.
감사 이력: 감지된 문제, 결정, 승인, 작업, no-op, 재시도, 롤백입니다.
근거 집합: 메트릭, 로그, 추적, 변경, 알림, 인용한 지식입니다.
영향 기록: 영향받는 기능, 지속 시간, 영향 대상, SLO에 미친 영향입니다.
복구 증명: 복원된 상태, 검증 구간, 잔여 위험입니다.

권위 있는 기록이 있으면 채팅에서 회상한 내용으로 분석을 시작하지 않습니다. 회상한 내용은 맥락을 보충할 수 있지만, 참가자의 진술임을 표시하는 것이 좋습니다.

검토 구성

초안을 만듭니다. 시각 또는 내용을 변경하지 않고 인시던트 및 추가 전용 감사 기록에서 최초 시간 순서를 구성합니다.
영향을 검증합니다. 시작, 탐지, 완화, 복구, 종료 시간과 영향받은 기능, 측정한 SLO 영향을 확인합니다.
결정을 재구성합니다. 각 주요 결정에 대해 당시 사용할 수 있던 근거, 선택한 분기, 그에 따른 결과를 기록합니다.
원인을 구분합니다. 근본 원인, 기여 조건, 탐지 공백, 대응 공백, 복구 공백을 구분합니다.
주장을 검증합니다. 각 인과관계 진술을 근거에 연결하고, 반증되지 않은 타당한 대안을 유지합니다.
통제 수단을 평가합니다. 탐지기, 규칙, 승인, 중지 조건, 롤백, 알림, 감사 통제 중 무엇이 작동했고 무엇이 실패했는지 기록합니다.
후속 조치를 정의합니다. 담당자, 기한, 우선순위, 측정 가능한 완료 근거가 있는 시정 및 예방 작업을 생성합니다.
검토하고 승인합니다. 근거 없는 주장을 정리하고 민감한 데이터가 제외됐는지 확인하며 필수 검토자 승인을 받습니다.
연결하고 종료합니다. 승인된 사후 분석을 인시던트에 첨부합니다. 해결되지 않은 위험과 작업 담당자가 명확한 경우에만 인시던트를 종료합니다.

타임라인 체크포인트

체크포인트	수집할 내용
최초 영향	근거로 뒷받침되는 최초의 사용자 또는 작업 영향입니다.
탐지	최초로 감지된 문제와 영속 경로에 도달한 시점입니다.
분류	심각도, 담당자, 범위, 첫 결정 기한입니다.
완화	제안, 결정, 승인, 실행, 관찰된 효과입니다.
롤백 또는 복구	트리거, 작업, 검증, 잔여 영향입니다.
서비스 안정화	복구 관측 구간의 시작과 종료입니다.

후속 조치 품질

유용한 후속 조치는 통제 수단을 변경하거나 근거 공백을 해소합니다. 담당자나 테스트가 없는 “더 주의하기” 같은 작업은 피합니다.

필수 필드	근거 대상 예시
담당자와 기한	명시된 책임 역할과 검토 날짜입니다.
변경된 통제 수단	규칙, 런북, 테스트, 경보, 롤백 또는 프로바이더 참조입니다.
완료 증명	통과한 시나리오, 훈련 기록 또는 측정한 운영 신호입니다.
안전성 모드	적용 변경 전에 확보한 관찰 모드 근거입니다.
종료 조건	작업을 종료할 수 있는 목표 결과입니다.

재사용 가능한 규칙, 런북 또는 지식 개선안은 정규 검토와 승격 절차에서 수락할 때까지 적용되지 않는 후보로 유지됩니다.

중지 조건

영향, 복구, 해결되지 않은 위험, 담당자, 필수 후속 조치 중 기록이 누락된 항목이 있으면 종료하지 않습니다. 근거 집합이 크게 변경되거나 시각이 충돌하거나 인용한 기록을 검증할 수 없거나 민감한 데이터가 초안에 들어가면 검토를 일시 중지합니다. 근거가 없는 원인은 가설로 유지합니다.

근거와 완료

승인된 기록에는 인시던트, 근거 집합 버전, 시간 순서, RCA 주장, 대응 작업, 승인, 롤백, 복구 증명, 검토자, 후속 조치 항목을 연결하는 것이 좋습니다. 사후 분석 버전과 승인을 인시던트 감사 이력에 기록합니다.

검토된 사후 분석이 연결되고 적절한 책임 담당자가 잔여 위험을 수락하며 모든 필수 후속 조치에 담당자, 기한, 확보할 근거가 지정되면 작업 흐름을 완료합니다. 후속 조치는 인시던트 종료 후 완료할 수 있습니다.

다음 작업	문서
출처 근거와 인과관계 주장 재검사	RCA 근거 수집
고정된 시나리오로 탐지기 개선	경보 튜닝
시정 목적의 복원력 통제 수단 검증	Chaos Game Day