SLO 오류 예산 소진 대응 런북

워크로드의 서비스 수준 목표(SLO)에서 slo.error_budget_burn이 발생할 때 이 런북을 사용합니다. 목표와 출처 데이터를 검증하고 단기 및 장기 구간의 오류 예산 소진을 확인합니다. 관련 가능성이 있는 맥락을 연결하고, 누락된 데이터를 정상으로 취급하지 않으면서 통제된 인시던트 대응 절차로 진행합니다.

임계값, 목표 값, 메트릭 조회, 알림 경로는 다운스트림 포크가 제공하는 구성입니다. 이 템플릿은 모든 환경에 공통으로 적용할 오류 예산 소진 정책을 정의하지 않습니다.

진입 기준과 소유권

감지된 문제 ID, SLO 및 서비스 ID, 평가한 구간, 출처 시각, 설정된 경로를 확보한 뒤 시작합니다. 검증 담당자를 지정하고 심층 조사를 시작하기 전에 다음 결정 기한을 기록합니다.

필수 입력	검증할 내용
SLO 버전	목표, 지표, 대상, 평가 기간, 담당자
메트릭 출처	조회 또는 변환 결과, 집계, 차원, 최신성
오류 예산 소진 구간	단기 및 장기 구간 경계, 임계값, 샘플 개수
오류 예산	현재 기간에 사용한 예산과 남은 예산
범위	서비스, 지역, 작업, 의존성, 명시적 제외 대상
맥락	배포, 유지보수, 용량 이벤트, 진행 중인 인시던트

발견된 문제 검증

발견된 문제가 현재 활성 SLO 버전을 참조하는지 확인합니다.
목표를 측정하는 신호인 서비스 수준 지표(SLI)가 의도한 범위와 차원을 사용하는지 확인합니다.
출처 상태, 수집 지연, 샘플링, 데이터 누락 시 동작을 검사합니다.
동일한 출처에서 설정된 두 구간을 다시 계산하거나 독립적으로 검사합니다.
반올림으로 임계값 초과를 숨기지 말고, 임계값 비교 결과와 남은 오류 예산을 확인합니다.
문제 감지 시각을 배포, 유지보수, 용량, 인시던트 시각과 비교합니다.

잘못 감지한 문제라면 이유를 기록하고 라벨이 지정된 사례를 경보 튜닝 절차로 전달합니다. 단순히 불필요한 경보로 간주해 종료하지 않습니다.

대응 절차

기준선을 기록합니다. 구간 값, 오류 예산, 출처 최신성, 영향받는 차원, 현재 사용자 영향을 수집합니다.
인시던트를 확인합니다. 안정적인 상관관계 키를 사용해 기존에 연결된 인시던트를 갱신하거나 새 인시던트를 생성합니다.
심각도를 설정합니다. 설정된 심각도 정책을 측정한 사용자 영향, 오류 예산 소진, 지속 시간, 범위에 적용합니다. 오류 예산 소진 경보만으로 정책을 우회하지 않습니다.
지정하고 알립니다. 설정된 담당자를 선택하고 영속 알림을 보내며 전달 또는 대체 경로 결과를 확인합니다.
맥락을 조사합니다. 최근 변경, 용량, 의존성, 관련된 감지 문제에 대해 한정된 범위에서 조사를 시작합니다.
완화를 준비합니다. 제안된 변경마다 근거, 의도한 효과, 범위, what-if 결과, 중지 조건, 롤백을 기록합니다.
제안을 전달합니다. 타입이 지정된 작업이 위험 및 승인 정책을 거치도록 합니다.
복구를 관찰합니다. SLO가 안정되었다고 선언하기 전에, 설정된 복구 기간 동안 두 구간의 오류 예산 소진을 계속 관찰합니다.

결정 분기

발견된 문제 상태	대응
두 구간 모두 임계값을 초과하고 영향이 확인됨	즉시 인시던트를 분류하거나 갱신합니다.
단기 구간만 임계값을 초과함	다음 기한까지 모니터링하고 급격한 변화의 맥락을 검사합니다.
단기 구간의 급증 없이 장기 구간이 임계값을 초과함	지속적인 성능 저하와 예산 추세를 조사합니다.
오류 예산 소진은 유효하지만 사용자 영향은 아직 관찰되지 않음	감지된 문제를 활성 상태로 유지하고 예산이 소진되기 전에 조사합니다.
출처 또는 SLI 범위가 잘못됨	문제를 잘못 감지했음을 기록하고 측정에 기반한 경보 튜닝을 시작합니다.
기존 인시던트가 이미 범위를 포함함	중복을 생성하지 말고 해당 인시던트에 근거를 추가합니다.

중지 조건

샘플이 오래됐거나 SLI 범위가 잘못됐거나 누락된 데이터를 0으로 취급했거나 구간 경계가 설정과 다르면 중지합니다. 롤백이나 영향 범위 한도를 확보할 수 없는 경우에도 중지합니다. 인시던트가 동시에 변경되면 상태 전이를 중지하고 새로 고침한 뒤 다시 결정합니다.

검증과 복구

복구를 확인하려면 정상 샘플 하나만으로는 부족합니다. 다음 항목을 검증합니다.

구간: 단기 및 장기 오류 예산 소진 값이 설정된 복구 조건보다 낮게 유지됩니다.
예산: 완화 후 남은 오류 예산과 변환 결과가 기록됩니다.
영향: 영향받는 작업과 의존성이 상태 검사를 통과합니다.
변경: 모든 완화 작업의 활성 버전과 롤백 참조가 확인됩니다.
인시던트: 상태가 모니터링으로 전환되고 검토 기한이 정해져 있습니다.

완화 작업이 오류 예산 소진이나 다른 보호 조건을 악화시키면 인시던트 완화와 롤백을 따릅니다.

근거와 감사

SLO 버전, 구간 값, 출처 시각, 인시던트 ID, 제안 ID, 결정, 최종 결과를 기록합니다. SLI 차원, 출처 상태 검사, 오류 예산 값, 상관관계 맥락, 알림 결과, 복구 구간도 기록합니다.

완료 기준

감지 결과의 유효 여부를 분류하고 인시던트와 담당자를 확인했으며, 모든 제안에 최종 결정이 있어야 합니다. SLO가 복구 구간을 통과했거나 다음 결정 기한을 정한 채 미해결 상태로 유지되면 대응을 완료합니다. 잘못 감지한 문제는 라벨이 지정된 튜닝 시나리오로 보존합니다.

다음 작업	문서
인시던트 범위와 담당 체계 설정	인시던트 분류
잘못 탐지하거나 불필요한 경보가 많은 탐지기 개선	경보 튜닝
검증된 대응을 안전하게 실행	인시던트 완화와 롤백