인시던트 완화와 롤백 런북

조사에서 근거가 뒷받침된 완화 제안을 도출한 뒤 이 런북을 사용합니다. 제안은 결정론적 검사, 위험 및 승인 정책, 권한이 부여된 실행, 효과 검증을 거치며, 필요한 경우 롤백으로 이어집니다.

이 템플릿은 실행 권한을 부여하지 않습니다. 환경별 작업, 신원, 리소스 범위, 롤백 구현은 다운스트림 포크에 두고 등록된 ActionType을 따라야 합니다.

진입 기준

다음 입력이 모두 있을 때만 시작합니다.

• 인시던트: 현재 상태, 심각도, 영향 범위, 담당자, 상관관계 ID입니다.
• 제안: 의도한 효과, 근거 인용, 완화하려는 조건입니다.
• 작업 계약: 등록된 ActionType, 모드, 사전 조건, 중지 조건, 영향 범위, 롤백 계약입니다.
• 권한: 예상 판정자, 실행기, 승인자, 감사자의 principal입니다.
• 검증 계획: 효과를 입증하는 상태, SLO, 의존성, 구성 검사입니다.

근거가 여전히 모호하면 실행하지 말고 RCA 근거 수집을 계속합니다.

역할

역할	책임
인시던트 담당자	대응 목표를 확인하고 최종 인시던트 상태를 수락합니다.
판정자	필수 검증 후 타입이 지정된 결정을 발행합니다.
승인자	사람 승인이 필요한 작업을 검토하며 실행기와 구분됩니다.
실행기	선언된 전달 경로를 통해 권한이 부여된 작업을 적용합니다.
감사자	모든 결정, 시도, no-op, 롤백, 최종 결과를 기록합니다.

사전 검사

1. 인시던트 상태를 새로 고침하고 제안이 여전히 측정된 영향을 다루는지 확인합니다.
2. 근거 시각, 대상 인벤토리, 의존성, 예상 현재 상태를 다시 검증합니다.
3. 정책, what-if, 보안, 영향 범위 검사를 실행합니다.
4. 작업이 예상한 관찰 모드 또는 적용 모드에 있는지 확인합니다.
5. 리소스별 잠금을 획득하고 해당 멱등성 키의 작업이 이미 완료되지 않았는지 확인합니다.
6. 중지 조건, 롤백 사전 조건, 롤백 담당자, 복구 검사를 확인합니다.
7. 감사 기록 담당과 전달 경로를 사용할 수 있는지 확인합니다.

사전 검사에서 안전하게 실행할 수 있는 상태인지 확정할 수 없으면 no-op을 기록하고 중지합니다.

완화 절차

1. 타입이 지정된 제안을 제출합니다. 인시던트, 작업, 대상 범위, 근거 참조, 모드, 멱등성 키, 롤백 참조를 포함합니다.
2. 결정을 받습니다. 등록된 판정자가 검증된 제안을 수락할 때만 계속합니다. 거부 또는 보류는 최종 no-op 감사 기록을 생성합니다.
3. 필요한 승인을 받습니다. 승인자에게 권한이 있는지 확인합니다. 역할 분리가 필요한 경우 승인자가 실행기 또는 요청자와 다른지 확인합니다.
4. 한 번 실행합니다. 권한이 부여된 실행기는 선언된 전달 경로만 사용합니다. 재시도는 동일한 멱등성 키를 재사용합니다.
5. 중지 조건을 관찰합니다. 작업 전반에 걸쳐 상태, SLO, 의존성, 범위, 전달 상태를 모니터링합니다.
6. 효과를 검증합니다. 선언된 관측 구간에서 작업 후 검사 결과를 기록된 기준선과 비교합니다.
7. 최종 분기를 선택합니다. 완화 성공을 기록하거나 롤백하거나, 남아 있는 영향과 근거를 포함해 에스컬레이션합니다.

결정 분기

관찰된 결과	필요한 분기
예상 효과가 확인되고 모든 보호 검사를 통과함	작업 결과를 유지하고 인시던트 상태를 갱신합니다.
유의미한 효과가 없지만 새로운 피해도 없음	중지하고 효과 없음 결과를 기록한 뒤 조사로 돌아갑니다.
중지 조건 또는 예상하지 못한 의존성 영향이 나타남	즉시 롤백을 시작합니다.
전달 상태를 알 수 없음	인시던트를 열림으로 유지하고 재시도 전에 전달을 검증합니다.
롤백을 실행할 수 없거나 상태를 복원하지 못함	복구 실패로 에스컬레이션합니다.

롤백 절차

1. 추가 시도를 중지하고 실패한 액션 참조를 보존합니다.
2. 롤백이 실제 적용된 버전과 범위를 정확히 대상으로 하는지 확인합니다.
3. 타입이 지정된 파이프라인을 통해 필요한 롤백 결정과 승인을 받습니다.
4. 서로 다른 멱등성 키로 등록된 롤백 계약을 실행합니다.
5. 이전 구성, 상태, 의존성, SLO 상태를 검증합니다.
6. 롤백으로 서비스를 완전히 복원했는지, 부분적으로 복원했는지, 복원에 실패했는지 기록합니다.

롤백은 원래 작업을 지우지 않습니다. 두 기록은 추가 전용 감사 이력에서 연결된 상태로 유지됩니다.

중지 조건

완화 작업 전이나 도중에 오래된 근거, 잠금 실패, 범위 확대, 정책상 거부, 감사 기록 담당 부재, 롤백 불가 또는 예상하지 못한 의존성 영향이 있으면 중지합니다. 인시던트 상태가 크게 변경되어 제안이 현재 조건과 더 이상 일치하지 않는 경우에도 중지합니다.

검증

작업 효과와 시스템 안전성을 모두 검증하는 것이 좋습니다.

• 효과: 대상 오류, 포화, 표류 또는 사용 불가 의존성이 개선됩니다.
• 범위: 승인된 리소스와 의존성만 변경됩니다.
• 서비스: 상태, SLO, 사용자 영향 지표가 관측 구간 동안 기준을 충족합니다.
• 상태: 예상 구성 또는 전달 참조가 활성 상태입니다.
• 감사: 제안, 결정, 승인, 실행, 검증, 롤백이 연결됩니다.

근거와 완료

예행 실행 출력, 결정, 승인, 실행기, 전달 참조, 상태 검사, 롤백 참조, 최종 인시던트 상태를 기록합니다. 비교에 사용한 시각과 기준선도 포함합니다.

작업이 최종 상태에 도달하고 잠금이 해제되며 남아 있는 사용자 영향이 기록되어야 합니다. 인시던트가 모니터링으로 이동했거나 담당자와 기한이 정해진 조사로 돌아간 경우에만 런북을 완료합니다.

관련 런북

다음 작업	문서
인시던트 범위와 심각도 재확인	인시던트 분류
다음 제안을 위한 근거 수집	RCA 근거 수집
인시던트 완화와 별개인 네 알림 변경 ActionType 검토	알림 과다 수신 관리
복구 후 대응 검토	사후 분석 작업 흐름