토큰 이코노믹스(Tokenomics · Token Economics) — LLM 및 AI 에이전트 토큰 절약 가이드
AI 도구의 품질은 유지하면서 토큰 사용량을 줄이세요.
토큰 이코노믹스 (TOKENOMICS · TOKEN ECONOMICS) · LLM 및 AI 에이전트 토큰 절약 가이드 LLM · 에이전트 토큰 이코노믹스 (Tokenomics · Token Economics)
AI 도구의 품질은 유지하면서,
LLM · 에이전트 토큰 이코노믹스 (Tokenomics · Token Economics)
AI 도구의 품질은 유지하면서,
불필요한 토큰 사용을 줄이세요.
LLM과 AI 에이전트를 위한 실전 토큰 이코노믹스(Tokenomics · Token Economics, 토큰 경제학) 가이드입니다. VS Code에서 GitHub Copilot을 사용하는 개발자(트랙 A)는 마켓플레이스 확장 cctx로 탐색 토큰을 줄이고 개발 속도를 가속하며, 에이전트를 개발·운영하는 엔지니어(트랙 B)는 코드 수정 없는 프로파일러 tokprof로 LLM 호출을 분석하고 비용과 품질을 검증할 수 있습니다.
측정하고 개선하기 트랙 A와 트랙 B 공통
T
TokenEconomizer에서 보고한 결과 SWE-Bench에서 에이전트와 모델 조합 5개의 평균 비용이 18.4~30.9% 감소했습니다.
연구 결과 코드 수정 없이 사용하는 LLM 토큰 프로파일러 · tokprof
tokprof start로 토큰 사용량을 측정하고 HTML 리포트로 살펴보세요
tokprof는 로컬 게이트웨이, 프로세스 내부 훅 또는 Linux eBPF를 사용해 지원되는 LLM 요청을 수집합니다. 수집 가능한 요청은 실행 환경과 선택한 방식에 따라 달라집니다(eBPF를 사용할 수 없는 환경에서는 eval "$(tokprof env)"로 새 프로세스의 요청을 게이트웨이로 전달합니다). 아래 화면은 합성 데이터(examples/sample-requests.jsonl, 7개 호출)를 사용한 실행 예시입니다.
01 / PyPI 설치 Linux · macOS · Win
pip install tokprof Rust/Go 설치 없이 프리빌트 네이티브 바이너리를 바로 설치합니다 (uv tool install tokprof 또는 uvx tokprof도 지원). 02 / 측정 시작 Background / CLI
tokprof start 백그라운드 측정 세션을 시작합니다. 지원되는 Linux에서는 eBPF로 실행 중인 프로세스와 Docker를 수집하며, 단일 명령은 tokprof -- python app.py로 실행합니다. 03 / 수집 상태 확인 Live Count
tokprof status 에이전트에서 측정할 작업을 실행한 뒤, 활성 세션과 지금까지 수집된 LLM 호출 수를 확인합니다. 04 / 측정 종료 및 리포트 CLI + HTML + CSV
tokprof stop 측정을 종료하고 터미널 요약표와 대화형 HTML 리포트(.tokprof/latest.html)를 확인합니다. $ tokprof start
tokprof: session started (pid 48210, gateway 127.0.0.1:41932, eBPF: all processes & Docker containers, max 3m/180s)
recording to: /workspace/.tokprof/20261106-synthetic.jsonl
Running host processes, background services, and Docker containers are captured automatically.
Check progress: tokprof status | Live view: tokprof report --watch | Finish & report: tokprof stop
# 에이전트에서 측정할 작업을 실행합니다.
$ tokprof status
tokprof: active session pid 48210, gateway 127.0.0.1:41932, eBPF: all processes & Docker containers
requests seen: 7, LLM calls recorded: 7, errors: 0
$ tokprof stop
tokprof: session stopped (recorded 7 call(s) in /workspace/.tokprof/20261106-synthetic.jsonl)
╭──────────────────────────────────────────────────────────────────────────────────────────╮
│ tokprof — LLM Token Profile (Per-Session · Per-Turn · Prompt Inspector) │
╰──────────────────────────────────────────────────────────────────────────────────────────╯
Sessions: 1 Turns: 3 Calls: 7 Input: 73,000 Output: 1,580 Cached: 47,700 (65.3%)
First-call overhead: 9,200 tok Median input/call: 9,600 tok Fan-out: median 2, max 4 calls/turn
1. Input token breakdown (total)
────────────────────────────────────────────────────────────────────────────────────────────
System prompt 44,800 61.4% ████████████████░░░░░░░░░░
Tools: definitions 16,800 23.0% ██████░░░░░░░░░░░░░░░░░░░░
Tools: results 4,620 6.3% █▋░░░░░░░░░░░░░░░░░░░░░░░░
History: user turns 2,670 3.7% █░░░░░░░░░░░░░░░░░░░░░░░░░
Current user prompt 1,870 2.6% ▋░░░░░░░░░░░░░░░░░░░░░░░░░
History: assistant turns 1,400 1.9% ▌░░░░░░░░░░░░░░░░░░░░░░░░░
Unattributed (template/hidden) 840 1.2% ▎░░░░░░░░░░░░░░░░░░░░░░░░░
3. Per-Turn breakdown & prompt summary (System / History / User Prompt / Tools & Schema)
────────────────────────────────────────────────────────────────────────────────────────────
turn calls system history user_prompt tools/schema total_in cached output
S1·T1 4 25,600 2,230 930 9,960 39,200 28,400 680
User prompt: Fix the failing discount boundary test in checkout.py
Assistant: {"tool":"read_file","path":"src/checkout.py"}
S1·T2 1 6,400 1,440 540 6,600 15,100 10,300 420
User prompt: Patch >= 100 boundary and verify with .venv/bin/pytest -q
Assistant: Patched boundary check (`>= 100`) and verified with `.venv/bin/pytest -q` (14 passed).
S1·T3 2 12,800 400 400 4,860 18,700 9,000 480
User prompt: Run test suite for currency rounding module
Assistant: All 8 rounding tests passed in 0.09s.
Findings & recommendations
────────────────────────────────────────────────────────────────────────────────────────────
[HIGH] 2 tool definition(s) were sent but never called (14,000 tokens, 19.2% of input): browser_open, notebook_edit
[HIGH] Tool call 'run_tests' was repeated 3 times in a row (28,800 input tokens): add a loop guard
[MEDIUM] Unfiltered read_file tool output (4,200 tokens) pushed Turn 2 input to 15,100 tokens
tokprof: HTML dashboard written to .tokprof/latest.html
tokprof: Report server live at http://127.0.0.1:18765/latest.html http://127.0.0.1:18765/latest.html (.tokprof/latest.html — Edition Dossier)
T
tokprof
Edition 리포트 · LLM 토큰 구성과 프롬프트 확인 예시
SYNTHETIC REPORT EXAMPLE
Sessions: 1 · Turns: 3 · Calls: 7 · Total Input: 73,000 tok · Cached: 47,700 (65.3%) · Output: 1,580 tok
01 / SESSIONS & TURNS 1 / 3 7 total LLM calls
02 / INPUT TOKENS 73,000 median 9,600 / call
03 / CACHED INPUT 47,700 65.3% cache hit rate
04 / OUTPUT TOKENS 1,580 generated by model
05 / FIXED OVERHEAD 9,200 first call input
06 / FAN-OUT 2 median calls/turn (max 4)
1. 전체 입력 토큰 구성
| 구성 요소 | 토큰 | 비중 | 분포 |
|---|---|---|---|
| System prompt | 44,800 | 61.4% | |
| Tools: definitions | 16,800 | 23.0% | |
| Tools: results | 4,620 | 6.3% | |
| History: user turns | 2,670 | 3.7% | |
| Current user prompt | 1,870 | 2.6% | |
| History: assistant turns | 1,400 | 1.9% |
발견된 토큰 낭비와 권장 조치
HIGH
호출되지 않은 도구 정의 2개(browser_open, notebook_edit)가 매번 전송되었습니다. 총 14,000토큰으로 전체 입력의 19.2%입니다.
2단계: 사용하지 않는 도구 확인하기 → HIGH
run_tests 호출이 같은 오류(pytest: command not found)와 함께 세 번 연속 반복되었습니다. 이 구간에 입력 토큰 28,800개가 사용되었습니다.
4단계: 루프 가드 추가하기 → MEDIUM
1턴에서 전체 파일을 읽은 결과가 4,200토큰이었고, 2턴의 입력은 15,100토큰으로 늘어났습니다.
4단계: 도구 출력 줄이기 → EDITION LINEAGE / TOKEN FLOW CANVAS
토큰 흐름 예시 기준 상태 → 턴별 변화 → 개별 호출
ORIGIN / 01
8,800 tok System (6,400) + Tools (2,400) First call: 9,200 tok
TURNS / 02
39,200 tok Hist 2,230 · User 930 · Tools 9,960 4 calls · Cached 28,400
15,100 tok Hist 1,440 · Tool Result 4,200 1 call · Cached 10,300
EXECUTION / 03
9,200 tok m-large · Cold prefix (0 cached) Cached 0 · Out 310
15,100 tok m-large · +4,200 read_file result Cached 10,300 · Out 420
03 / TURN LINEAGE & PROMPT INSPECTOR
3. 턴별 토큰 사용량과 수집된 프롬프트·도구 스키마
| Turn | Calls | System | History | User | Tools | Input | Cached | Out |
|---|---|---|---|---|---|---|---|---|
| s1 · Turn 1 | 4 | 25,600 (65%) | 2,230 (6%) | 930 (2%) | 9,960 (25%) | 39,200 | 28,400 72% | 680 |
| s1 · Turn 2 | 1 | 6,400 (42%) | 1,440 (10%) | 540 (4%) | 6,600 (44%) | 15,100 | 10,300 68% | 420 |
| s1 · Turn 3 | 2 | 12,800 (68%) | 400 (2%) | 400 (2%) | 4,860 (26%) | 18,700 | 9,000 48% | 480 |
SYSTEM PROMPT (CALL #1) 6,400 tok
[system#agent-rules] # Coding Agent System Prompt 1. Inspect target files before editing. 2. Run focused tests to verify every fix.
TOOLS & SCHEMA (4 DEFINED) 2,400 tok
[read_file: 220 tok] [run_tests: 180 tok] [notebook_edit: 900 tok — UNUSED] [browser_open: 1,100 tok — UNUSED]
USER PROMPT & OUTPUT (T2) 540 + 420 tok
User: Patch >= 100 boundary and verify with .venv/bin/pytest -q Assistant: Patched boundary check (>= 100); 14 passed.
역할에 맞는 두 가지 트랙
사용 환경에 맞는 트랙을 선택하세요
각 가이드는 문제, 조치 방법, 효과 확인 방법, 고려할 점을 순서대로 설명합니다.
트랙 A · VS Code GitHub Copilot
트랙 A — Copilot 토큰 절약
VS Code에서 GitHub Copilot을 사용하는 개발자를 위한 가이드입니다. AI Credits와 프리미엄 요청 배수를 이해하고, Agent Debug Logs로 사용량을 확인하며, 컨텍스트와 지침 파일, MCP 도구를 정리하는 방법을 다룹니다.
트랙 B · LLM 에이전트 문제 해결
트랙 B — 에이전트 토큰 절약
LLM 에이전트를 개발하거나 운영하는 엔지니어를 위한 가이드입니다. 요청의 기본 개념을 이해하고, 사용량을 진단한 뒤 낭비 원인을 확인하고 개선 효과와 품질을 검증합니다.
트랙 B · 문제 해결 6단계
TokenEconomizer 사례 살펴보기 → 개념 이해부터 개선 결과 확인까지
STAGE 00 개념 이해 요청마다 컨텍스트를 다시 보내는 방식과 프롬프트 캐싱, 컨텍스트 윈도우, 도구 비용을 이해합니다. STAGE 01 사용량 진단 tokprof로 시스템 프롬프트, 대화 기록, 도구의 토큰 사용량과 고정 오버헤드를 측정합니다. STAGE 02 원인 찾기 사용하지 않는 도구, 반복 실패, 긴 도구 출력 등 낭비 원인을 하나씩 살펴봅니다. STAGE 03 원인 확인 같은 작업을 여러 번 실행해 토큰 낭비 규모와 신뢰구간을 확인합니다. STAGE 04 개선 적용 마이크로 스킬, 도구 가지치기, 루프 가드 중 한 번에 한 가지를 적용합니다. STAGE 05 결과 확인 비용, 작업 성공률, 지연 시간을 다시 측정해 변경 사항을 유지할지 되돌릴지 결정합니다.
핵심 원칙과 참고 자료
토큰 절약의 네 가지 원칙
01 / MEASURE FIRST
1. 먼저 측정합니다.
개선하기 전에 자신의 세션에서 현재 사용량을 측정합니다.
02 / QUALITY GUARDRAIL
2. 품질을 함께 확인합니다.
토큰을 줄인 뒤에도 작업 성공률과 결과 품질이 유지되는지 확인합니다.
03 / SINGLE VARIABLE
3. 한 번에 하나씩 바꿉니다.
실험할 때 한 가지씩 변경해야 어떤 조치가 효과가 있었는지 확인할 수 있습니다.
04 / CITE OR MEASURE
4. 출처를 밝히거나 직접 측정합니다.
수치에는 논문이나 공식 문서 같은 1차 출처를 밝히거나, 재현할 수 있는 로그와 스크립트를 제공합니다.
토큰 이코노믹스 · 토큰 경제학의 정의와 4대 핵심 축
AI와 LLM에서 토큰 이코노믹스(Tokenomics · Token Economics)란 무엇인가요?
AI 엔지니어링에서 토큰 이코노믹스(Tokenomics, 또는 토큰 경제학 · Token Economics)는 모델이 읽고 생성하는 토큰(입력, 캐시 적중 입력, 출력, 추론 토큰)의 과금 구조와 컨텍스트 윈도우 예산을 분석하여, 작업 성공률과 응답 품질을 떨어뜨리지 않고 작업당 총비용과 지연 시간을 최적화하는 기술 분야입니다(디지털 자산의 발행·분배를 다루는 암호화폐 토큰노믹스와는 구분됩니다).
PILLAR 01 / TOKEN UTILITY & ROI
1. 완료된 작업당 비용과 품질
단순히 토큰 단가가 가장 낮은 모델이 아니라, 재시도 없이 한 번에 문제를 해결하는 총비용과 골든 데이터셋 품질 기준선을 함께 평가합니다.
PILLAR 02 / PROMPT CACHING PREFIX
2. 접두부 안정성과 프롬프트 캐싱
변하지 않는 시스템 프롬프트와 도구 스키마를 요청 앞부분에 고정해 프롬프트 캐시 적중률을 높이고 입력 단가와 프리필 지연 시간을 낮춥니다.
PILLAR 03 / CONTEXT & TOOL TAX
3. 컨텍스트 위생과 도구 스키마 절감
미사용 MCP 도구 정의를 줄이고, cctx의 블록 클램핑 1회 조회와 BPE 수식 프롬프트로 고정 세금을 제거합니다.
PILLAR 04 / AGENT LOOP & PROFILING
4. 에이전트 루프 팬아웃 제어와 프로파일링
멀티턴 에이전트는 매 단계 이전 기록을 재전송하므로(n × prefix + Σ history), tokprof로 낭비 구간을 측정하고 루프 가드를 적용합니다.
자주 묻는 질문 · 핵심 요약
자주 묻는 질문 (FAQ)
LLM과 AI 에이전트에서 토큰 이코노믹스(Tokenomics · Token Economics)란 무엇인가요?
AI와 대규모 언어 모델(LLM)에서 토큰 이코노믹스(Tokenomics · Token Economics, 토큰 경제학)는 모델 호출과 멀티턴 에이전트 루프 전반에서 입력·캐시·출력·추론 토큰의 과금 구조를 분석하고, 답변 품질 저하 없이 컨텍스트 예산과 비용 대비 성능을 최적화하는 엔지니어링 분야입니다. agent-tokenomics는 트랙 A(VS Code Copilot 토큰 이코노믹스 및 cctx 개발 가속)와 트랙 B(에이전트 토큰 이코노믹스 6단계 절차 및 tokprof 프로파일러)로 이를 체계화합니다.
tokprof는 어떻게 설치하고 실행하나요?
Python 환경에서 pip install tokprof 또는 uv tool install tokprof(설치 없이 실행할 때는 uvx tokprof)로 프리빌트 네이티브 바이너리를 설치합니다. tokprof start로 백그라운드 프로파일링(Linux eBPF 및 로컬 게이트웨이·훅 지원)을 시작하고, 에이전트 작업 후 tokprof stop을 실행하면 세션·턴·호출별 입력 토큰 구성과 대화형 HTML 리포트(.tokprof/latest.html)가 생성됩니다.
VS Code GitHub Copilot에서 토큰과 AI 크레딧을 줄이면서 개발 속도를 높이려면 어떻게 하나요?
작업마다 새 채팅을 시작해(부수적인 질문은 /fork 활용) 이전 대화 기록이 매 턴 재전송되지 않게 하고, 사용하지 않는 MCP 서버와 도구를 비활성화하며, #file·#selection으로 필요한 컨텍스트만 지정합니다. 또한 VS Code Marketplace에서 Code Context (cctx)를 설치하면 다단계 grep + view 루프를 블록 클램핑 1회 조회로 대체해 탐색 속도를 15.20배 높이고 작업 완료 시간을 24.7% 단축하면서 상태 표시줄과 cctx usage에서 실시간 절감 비용을 확인할 수 있습니다.
LLM 에이전트의 토큰 비용 문제는 어떤 순서로 해결하나요?
추측 대신 6단계 절차를 따릅니다: 0. 개념 이해 → 1. 진단(Diagnose) → 2. 분리(Isolate) → 3. 증명(Prove) → 4. 개선(Improve) → 5. 결과(Result) 및 6. 골든 데이터셋과 루브릭 평가로 비용 절감과 답변 품질 유지를 동시에 검증합니다.