카오스 엔지니어링

카오스 엔지니어링은 알려진 장애가 일어났을 때 워크로드와 복구 장치가 예상대로 움직이는지 확인하는 일입니다. FDAI는 실험을 카탈로그 항목으로 표현하며, 각 항목에는 대상, 상태 점검, 영향 범위, 중단 조건, 롤백, 감사 근거가 명시되어 있습니다.

시나리오 계약

장애 시나리오에는 가설, 지원되는 리소스 유형, 주입 방식, 정상 상태 점검, 승인된 대상, 최대 지속 시간, 중단 조건, 롤백, 승격 기준을 적습니다. 카탈로그 스키마 검증이 내용이 덜 채워진 시나리오를 실행 전에 걸러 냅니다.

안전한 실험 흐름

1. 승격된 시나리오를 고르고 대상이 자격을 갖췄는지 확인합니다.
2. 장애를 주입하지 않은 채 사전 점검과 정상 상태 점검을 실행합니다.
3. 범위를 좁힌 대상 집합과 필요한 승인을 확인합니다.
4. 콘솔 자격 증명이 아니라 설정된 프로바이더를 통해 장애를 주입합니다.
5. 중단 조건과 상태 점검을 실험 내내 계속 평가합니다.
6. 롤백하고 복구를 확인한 뒤 결과를 기록합니다.

장애를 주입하기 전에 먼저 관찰합니다

관찰 모드에서 FDAI는 장애를 주입하지 않고 대상 선택, 정책, 예상되는 점검, 실행했을 법한 작업을 평가합니다. 승격은 시나리오와 범위 단위로 이루어집니다. 새 시나리오가 다른 시나리오의 근거를 물려받는 일은 없습니다.

중단과 복구 규칙

대상 집합이 넓어지거나, 보호 중인 의존 요소가 나빠지거나, 점검 데이터가 오래되거나, 실험이 정해진 시간을 넘기거나, 롤백을 쓸 수 없거나, 감사 기록에 실패하면 즉시 중단합니다. 복구 확인은 선택적인 뒷정리가 아니라 실험 결과의 일부입니다.

영향 범위 한계와 사전 승인된 복구

중단 조건은 실험에게 언제 그만둘지 알려 줍니다. 영향 범위 한계(영향 묶음) 는 애초에 어디까지 허용됐는지를 알려 줍니다. 이 한계는 승인 시점에 고정되며 영향을 받을 수 있는 리소스 수, 의존 관계를 따라 얼마나 깊이 전파될 수 있는지, 얼마나 오래 실행할 수 있는지, 목표가 어디까지 저하돼도 되는지, 어떤 신호가 즉시 중단을 뜻하는지를 담습니다.

주입을 시작하기 전에 복구 계획이 준비돼 있어야 합니다. 복구 계획이 아직 초안이거나 예행연습이 오래됐다면 실험은 장애 주입 단계로 들어갈 수 없습니다. 운영자들이 선택 사항이라고 오해하기 쉬운 부분인데 그렇지 않습니다. 문제를 만들기 전에 빠져나오는 길을 먼저 연습합니다.

감시 장치가 금지 신호를 보거나 한계를 넘는 것을 감지하면, 복구가 실험과 함께 승인돼 있으므로 새 승인을 기다리지 않고 다음 순서가 진행됩니다.

1. 감시 장치가 무엇 때문에 멈췄는지와 함께 중단을 게시합니다.
2. Vidar가 사전 승인된 복구 계획을 가져옵니다.
3. Thor가 각 복구 단계를 평소의 실행 경로로 수행하며 단계마다 감사 기록을 남깁니다.
4. Heimdall이 장애가 사라졌는지, 대상이 정상 범위로 돌아왔는지, 목표가 목표 시간 안에 회복됐는지를 독립적으로 검증합니다.

검증하는 쪽은 장애를 주입한 에이전트도, 중단을 결정한 에이전트도 아닙니다. 결과는 복구됨, 부분 복구됨, 복구 안 됨, 또는 판단에 필요한 텔레메트리가 없었던 경우 점수 불가로 기록됩니다.

승인자 입장에서 꼼꼼히 읽어야 할 것은 이 한계입니다. 명시된 대상 목록, 감당할 수 있는 지속 시간, 실제로 신경 쓰는 것과 일치하는 금지 신호, 예행연습을 마친 복구 계획. 이것들이 실험과 예약된 장애를 가르는 차이입니다.

현재 상태: 영향 분석, 복구 계획, 지속 감시, 내구성 있는 실행 상태, 사전 승인된 복구, 독립 검증이 구현돼 있습니다. 기본 런타임은 관찰 모드로 유지되며, 적용 모드에는 통제된 카오스 실행기를 주입해야 합니다. 그 연결 없이 적용 모드를 켜면 감시 없이 실행되는 대신 기동이 차단됩니다.

커버리지와 근거

장애 유형과 리소스 유형별 시나리오 커버리지, 점검의 신뢰도, 중단 비율, 롤백 성공률, 복구 시간, 예상하지 못한 영향을 추적합니다. 복구를 확인하지 못한 주입은 성공한 실험이 아닙니다.

시나리오 검증 인벤토리는 카탈로그 항목 132개, 관찰 커버리지 묶음 18개, 실제 적용 모드 검증 10개, 그리고 별도로 고정한 컨트롤 루프 시나리오를 서로 구분해서 보여 줍니다.

다음 단계

알아볼 내용	문서
복구를 훈련하는 방법	재해 복구와 훈련
모든 시나리오와 근거 수준	시나리오 검증 인벤토리
영향 범위를 관리하는 방법	리스크 티어
운영자 절차	카오스 게임데이 런북
회복탄력성 기능	회복탄력성