| tokenomics / token economics | 토큰 이코노믹스 / 토큰 경제학 | 응답 품질을 유지하면서 LLM 요청과 AI 에이전트 루프 전반의 토큰 과금, 예산, 캐싱, 컨텍스트 효율을 측정하고 최적화하는 엔지니어링 분야입니다. |
| token | 토큰 | 모델이 읽거나 쓰는 텍스트 단위이며, 사용량 기반 과금의 기준입니다. |
| input / output tokens | 입력 / 출력 토큰 | 모델에 보내는 토큰 / 모델이 생성하는 토큰입니다. |
| context window | 컨텍스트 윈도우 | 모델이 한 번의 요청에서 처리할 수 있는 최대 토큰 수입니다. |
| prefix | 접두부 | 요청의 앞부분입니다. 변하지 않은 접두부는 공급자의 캐시에서 재사용할 수 있습니다. |
| prompt caching | 프롬프트 캐싱 | 공급자가 변하지 않은 요청 앞부분을 재사용해 비용과 지연 시간을 줄이는 기능입니다. |
| cache hit rate | 캐시 적중률 | 캐시에서 처리된 입력 토큰의 비율입니다. |
| AI credits | AI 크레딧 | GitHub Copilot의 사용량 기반 과금 단위입니다. |
| premium request | 프리미엄 요청 | 이전 방식의 Copilot 과금 단위로, 프롬프트 수 × 모델 배수로 계산합니다. |
| compaction | 컨텍스트 압축 | 이전 대화를 요약해 컨텍스트 공간을 확보하는 작업입니다. |
| observation masking | 관찰 마스킹 | 최근 관찰은 유지하면서 오래된 도구 결과를 간결한 자리 표시자로 바꾸는 방법입니다. |
tokenizer encoding (o200k_base / cl100k_base) | 토크나이저 인코딩 | 텍스트를 토큰으로 나누는 데 쓰는 어휘와 규칙입니다. 토큰 수는 인코딩에 따라 달라집니다. |
| tool definition | 도구 정의 | 요청에 포함되어 모델에 전달되는 도구의 스키마입니다. |
| tool pruning | 도구 가지치기 | 사용하지 않는 도구 정의를 요청에서 제외하는 방법입니다. |
| micro-skill | 마이크로 스킬 | 세션을 시작할 때 알려 주는, 검증된 짧은 리포지토리 사실입니다. |
| failure loop | 실패 루프 | 한 턴에서 같은 실패가 반복되는 상태입니다. |
| loop guard | 루프 가드 | 실패 루프를 감지해 에이전트의 방향을 한 번 바로잡는 장치입니다. |
| turn | 턴 | 사용자 프롬프트 하나에 대해 에이전트가 수행하는 작업 단위입니다. |
| baseline | 기준선 | 비교의 출발점이 되는 측정값입니다. |
| subagent | 서브에이전트 | 탐색 과정을 메인 대화와 분리하는 별도의 에이전트 실행입니다. |
| context rot | 컨텍스트 열화 | 컨텍스트 윈도우가 가득 차기 전에도 긴 컨텍스트에서 품질이 떨어지는 현상입니다(예: 중간에 있는 내용을 덜 안정적으로 활용함). |
| landmine (instruction) | 지뢰 규칙 | 코드만으로는 알기 어려워 놓치기 쉬운 규칙으로, 지침에 명시할 만한 정보입니다. |
| tool schema tax | 도구 스키마 세금 | 모든 요청에서 도구 정의를 다시 보내느라 쓰는 토큰입니다. |
| agent skill | 에이전트 스킬 | 항상 적용되는 지침 대신 필요할 때 불러오는, 묶어서 제공하는 지식이나 도구입니다. |
| reasoning effort | 추론 강도 | 요청마다 모델이 사용하는 사고 토큰의 양을 조절하는 설정입니다. |
| fan-out (LLM calls per request) | 팬아웃 (요청당 LLM 호출 수) | 파이프라인이나 에이전트에서 사용자 요청 하나가 일으키는 모델 호출 수입니다. |
| token map | 토큰 지도 | 단계별 고정 토큰과 동적 토큰, 호출 수, 전체 대비 비중을 정리한 표입니다. |
| cacheable prefix | 캐시 가능 접두부 | 공급자의 최소 길이 조건을 충족해 프롬프트 캐시에서 처리될 수 있는, 요청의 변하지 않는 앞부분입니다. |
| provisioned throughput | 프로비저닝 처리량 | 토큰 단위가 아니라 용량 기준으로 청구되는 예약 모델 용량입니다. 이를 최적화할 때는 비용뿐 아니라 용량과 지연 시간도 고려해야 합니다. |
