경보 튜닝 런북

오탐, 미탐, 중복 인시던트 또는 오래된 라우팅으로 경보의 유용성이 떨어질 때 이 런북을 사용합니다. FDAI가 관찰하고 기록만 하며 조치를 실행하지 않는 관찰 모드에서 고정된 기준선과 단일 변경 제안을 비교하여 튜닝 효과를 측정할 수 있도록 합니다.

환경별 탐지기 이름, 대시보드 쿼리, 알림 대상, 승격 명령은 다운스트림 포크에 보관하세요. 이 업스트림 템플릿에는 고객별 값을 포함하지 마세요.

이 런북을 사용하는 경우

다음 신호 중 하나 이상이 정상 관찰 기간을 초과하여 지속되면 이 런북을 시작합니다.

오탐: 경보가 발생했지만 라벨이 지정된 증거에 조치가 필요한 상태가 나타나지 않습니다.
미탐: 확인된 인시던트에 해당하는 탐지기 이벤트 또는 라우팅 이벤트가 없습니다.
중복: 하나의 상태로 인해 여러 인시던트가 생성되거나 알림이 반복됩니다.
전달 지연: 탐지기는 제시간에 경보를 발생시키지만 상관관계 분석 또는 라우팅이 정해진 기한을 지키지 못합니다.
오래된 라우팅: 알림 전달 대상, 담당자 또는 에스컬레이션 정책이 현재 서비스와 더 이상 일치하지 않습니다.

현재 진행 중인 인시던트를 숨기기 위한 목적으로 튜닝을 사용하지 마세요. 먼저 인시던트 분류를 완료한 후, 라벨이 지정된 사례를 바탕으로 튜닝을 재개하세요.

역할과 입력

항목	필요한 입력
책임 담당자	검토 대상 탐지기 또는 경로를 책임지는 사람
검토자	책임 담당자와 별개로 승격 또는 롤백을 승인하는 사람
시나리오 집합	고정된 양성, 음성, 중복, 전달 실패 사례
기준선	탐지기, 상관관계 분석, 라우팅, 카탈로그, 구성 버전
보호 지표	탐지에서 누락된 인시던트, 알림 지연 시간, 중복 비율, 차단되지 않은 정책 위반
관측 구간	기준선과 변경안에 공통으로 사용하는 고정된 기간 또는 이벤트 수

책임 담당자는 비교를 준비하고 실행할 수 있습니다. 경보 수를 줄이는 사람이 안전성 신호가 약해진 결과를 혼자 승인하지 않도록, 승격에는 독립적인 검토가 필요합니다.

사전 검사

구성을 변경하기 전에 다음 단계를 완료합니다.

시나리오 라벨에 근거 출처와 검토 날짜가 있는지 확인합니다.
현재 탐지기, 상관관계 분석, 라우팅, 카탈로그 버전을 기록합니다.
기준선과 변경안 평가가 동일한 시나리오와 관측 구간을 사용하는지 확인합니다.
관찰 모드 평가가 인시던트를 생성, 종료 또는 변경하지 않고 감사 기록을 남기는지 검증합니다.
현재 구성을 롤백 참조로 저장합니다.
활성 인시던트가 변경 대상 탐지기에 의존하면 튜닝을 일시 중지합니다.

실패 진단

변경안을 선택하기 전에 관찰된 결함을 분류합니다. 하나의 결함에 여러 증상이 있을 수 있지만, 각 변경안 평가에서는 구성 항목 하나만 변경합니다.

증상	먼저 검사할 항목	일반적인 변경 항목
모든 시간대에 일정하게 발생하는 불필요한 경보	기준선과 임계값	기준선 구간 또는 임계값
예측 가능한 시간대에 발생하는 불필요한 경보	계절성 모델	계절성 반영 구간 또는 일정
하나의 상태에 반복되는 경보	중복 제거와 디바운스	상관관계 키 또는 디바운스 간격
관련 신호가 여러 인시던트로 분리됨	상관관계 근거	상관관계 규칙 또는 시간 구간
확인된 인시던트에 경보가 없음	탐지 범위와 데이터 누락 처리	탐지기 조건 또는 데이터 품질 경로
올바른 경보가 잘못된 응답자에게 전달됨	담당 체계와 채널 정책	경로 매핑 또는 에스컬레이션 정책
올바른 경로로 전달이 늦거나 실패함	전달 결과와 재시도 감사	전달 재시도 또는 대체 경로

절차

기준선을 측정합니다. 고정된 시나리오 집합을 실행하고 경보 발생 비율, 정밀도, 재현율, 중복 비율, 콜드 스타트에 따른 판단 보류, 전달 지연 시간, 최종 전달 결과를 수집합니다.
변경안 하나를 선택합니다. 결함 분류, 변경할 구성 항목 하나, 예상되는 메트릭 변화를 명시합니다.
관찰 모드에서 실행합니다. 변경안을 관찰 모드 평가기에만 적용하고 동일한 관측 구간에서 같은 시나리오 집합을 다시 실행합니다.
결과를 비교합니다. 모든 기본 지표와 보호 지표의 기준선 값과 변경안 평가 값을 계산합니다. 누락된 샘플을 0으로 처리하지 말고 이유를 설명합니다.
실패를 검토합니다. 승격을 고려하기 전에 새로 누락된 인시던트, 정책 위반 중 차단되지 않은 사례, 상관관계로 묶이지 않은 중복, 실패한 전달을 모두 검사합니다.
결정합니다. 대상 지표가 개선되고 보호 지표가 선언된 범위를 유지하며 독립 검토자가 근거를 수락할 때만 승격합니다.
롤아웃을 관찰합니다. 이전 구성을 사용할 수 있게 유지하고 선언된 관측 구간 동안 승격된 버전을 모니터링합니다.

결정 분기

결과	조치
대상 지표가 개선되고 모든 보호 지표가 기준을 충족함	설정된 승격 경로를 승인합니다.
대상 지표는 개선되지만 보호 지표가 악화됨	변경안을 거부하고 기준선을 복원합니다.
결과를 판단할 수 없음	시나리오 집합을 확장하거나 라벨을 수정한 후 기준선부터 다시 시작합니다.
정책 위반이 차단되지 않은 사례가 나타남	승격을 차단하고 안전성 검토를 요청합니다.
실제 운영 관측이 관찰 모드와 크게 다름	롤백하고 두 결과 집합을 검토용으로 보존합니다.

중지 조건

다음 조건이 발생하면 실행을 중지합니다.

신뢰할 수 없는 라벨: 근거가 없거나 오래됐거나 합의되지 않았습니다.
유효하지 않은 비교: 기준선과 변경안이 다른 시나리오 또는 구간을 사용합니다.
안전성 악화: 탐지에서 누락된 인시던트나 차단되지 않은 정책 위반이 증가합니다.
숨겨진 범위 변경: 둘 이상의 구성 항목이 변경됐습니다.
활성 의존성: 진행 중인 인시던트에 현재 형태의 탐지기가 필요합니다.

수를 줄이기 위해서만 경보를 억제하지 않습니다. 탐지 또는 전달 품질이 저하되면 경보 수가 줄어도 개선으로 보지 않습니다.

롤백과 복구

승격 보호 지표가 기준을 충족하지 못하거나 실제 운영 관측이 관찰 모드와 다르면 기록된 기준선 버전을 복원합니다. 롤백 후 소규모 카나리 평가를 다시 실행하고 탐지기, 상관관계 분석, 전달 결과가 이전 기준선과 일치하는지 확인합니다. 실패한 변경안의 평가 결과는 근거로 보존하며, 롤백 실행 결과로 덮어쓰지 않습니다.

근거와 감사

다음 기록을 튜닝 결정에 첨부합니다.

신원: 책임 담당자, 검토자, 탐지기 또는 경로 ID, 변경 참조입니다.
버전: 탐지기, 상관관계 분석, 라우팅, 카탈로그, 기준선, 변경안 버전입니다.
데이터셋: 시나리오 집합의 해시, 라벨 출처 이력, 관측 구간입니다.
측정: 모든 기본 지표와 보호 지표의 기준선 값과 변경안 평가 값입니다.
예외: 탐지 누락 사례, 중복, 실패한 전달, 차단되지 않은 정책 위반입니다.
결정: 승인한 principal과 함께 승격, 거부, 평가 연장, 롤백 중 하나를 기록합니다.
결과: 롤아웃 구간, 롤백 참조, 최종 구성 버전입니다.

완료 기준

결정이 감사 기록에 남고 활성 구성 버전이 확인되며, 승격된 변경안 또는 복원된 기준선이 관측 구간을 통과한 뒤에만 튜닝 작업을 종료합니다. 새로 발견한 대응 공백은 이 변경의 범위를 넓히지 말고 사후 분석 작업 흐름으로 보냅니다.

다음 작업	문서
활성 인시던트의 범위와 심각도 분류	인시던트 분류
서비스 수준 목표의 오류 예산 소진 검증	SLO 오류 예산 소진 대응
대응 공백을 담당자가 있는 후속 조치로 전환	사후 분석 작업 흐름