Chaos Game Day Runbook

이 런북을 사용하여 범위가 제한된 Chaos 실험을 계획, 승인, 실행하고 실험 후 복구합니다. Chaos Game Day는 승격된 시나리오, 고정된 대상 집합, 지속적인 상태 점검, 검증된 롤백 경로를 사용하여 복원력 가설 하나를 검증합니다.

환경별 장애 주입은 다운스트림 포크에서만 실행하세요. 이 업스트림 절차는 실제 대상이나 공급자 명령이 아닌 안전 및 증거 계약을 정의합니다.

이 런북을 사용하는 경우

시나리오가 스키마, 정책, 회귀 테스트, 관찰 모드 검토를 모두 통과하고 팀이 실제 운영 환경과 유사한 환경에서 통제된 검증 증거를 확보해야 할 때 Chaos Game Day를 진행합니다. 원인이 밝혀지지 않은 진행 중인 인시던트를 진단하는 용도로는 사용하지 마세요.

일반적인 목표는 다음과 같습니다.

역할 또는 입력	책임
훈련 책임자	가설, 일정, 조정, 최종 기록을 책임집니다.
승인자	범위, 위험, 중지 조건, 롤백을 독립적으로 검토합니다.
운영자	권한이 부여된 프로바이더를 통해 승인된 시나리오를 시작하고 중지합니다.
관찰 담당자	상태 점검 결과를 관찰하고 즉시 중지를 요청할 수 있습니다.
시나리오	버전이 지정된 장애, 대상 선택자, 소요 시간, 영향 범위 한도입니다.
정상 상태	실험 중 유지되어야 하는 측정 가능한 조건입니다.
롤백	장애를 제거하고 이전 상태를 복원하는, 테스트를 거친 작업입니다.

운영자와 승인자는 구분하는 것이 좋습니다. 선언된 조건이 발생하거나 관찰한 상태가 불명확해지면 모든 참가자가 중지를 요청할 수 있습니다.

훈련 시작 전에 사전 검사를 완료합니다.

사전 검사 항목 중 하나라도 확보할 수 없으면 no-op 결과를 기록하고 일정을 다시 잡습니다.

훈련을 시작합니다. 시나리오, 대상 집합, 참가자, 승인, 기준선 샘플, 예정 종료 시간을 기록합니다.
보호장치를 확보합니다. 필요한 리소스 잠금을 획득하고 충돌하는 변경이나 활성 인시던트가 대상과 겹치지 않는지 확인합니다.
시나리오를 시작합니다. 승인된 프로바이더를 통해서만 장애를 주입하고 프로바이더 작업 참조와 시작 시간을 기록합니다.
계속 관찰합니다. 실험 동안 정상 상태, 탐지, 의존성, 범위에 대한 점검 결과를 평가합니다. 누락되거나 오래된 샘플은 정상 값이 아니라 실패로 처리합니다.
유지하거나 중지합니다. 모든 보호 조건이 유효한 동안에만 계속합니다. 권한이 부여된 관찰 담당자는 누구나 중지 절차를 시작할 수 있습니다.
장애를 제거합니다. 소요 시간 한도에 도달하거나 가설의 관찰을 마치면 선언된 롤백을 실행합니다. 중지 조건이 발생하면 즉시 롤백을 실행합니다.
복구를 검증합니다. 대상 집합이 정상 상태로 돌아오고 장애 주입 리소스, 잠금, 임시 권한이 남지 않았는지 확인합니다.
훈련을 종료합니다. 가설 결과, 예상하지 못한 영향, 복구 시간, 후속 조치 담당자를 기록합니다.

다음 조건이 발생하면 주입을 즉시 중지합니다.

중지는 유효한 실험 결과입니다. 활성 실행 안에서 소요 시간 또는 대상 집합을 확장하지 않습니다.

문서화된 순서로 롤백을 실행하고, 설정된 복구 구간 동안 모든 필수 정상 상태 조건을 충족할 때까지 샘플을 계속 수집합니다. 복구가 완료되지 않으면 인시던트 분류로 전환하고 실험 상관관계 ID를 보존하며 훈련을 인시던트 출처로 취급합니다.

첫 번째 장애 주입을 상쇄하려고 두 번째 장애를 주입하지 않습니다. 복구 작업은 별도로 승인된 경로를 따라야 하며 자체 감사 기록을 남겨야 합니다.

다음 근거를 기록합니다.

롤백이 완료되고 정상 상태를 검증했으며, 임시 접근 권한을 제거하고 잠금을 해제한 뒤에만 훈련을 종료합니다. 모든 후속 조치에는 담당자와 확보할 근거가 지정되어 있어야 합니다. 새로 발견한 탐지 또는 대응 공백은 사후 분석 작업 흐름을 통해 제출합니다.