🧠 LLM의 컨텍스트 윈도우(Context Window)란?
“AI는 얼마나 오래 기억할까?”
그 비밀은 바로 **컨텍스트 윈도우(Context Window)**에 있습니다. 🌌
📘 1️⃣ 컨텍스트 윈도우란?
LLM(대규모 언어 모델)은 사람처럼 모든 대화를 무한히 기억하지 않습니다.
대신, 한 번에 이해할 수 있는 정보의 한계가 정해져 있습니다.
이 범위를 바로 **컨텍스트 윈도우(context window)**라고 부릅니다.
👉 쉽게 말해 **“AI의 단기 기억 공간”**이라고 생각하면 됩니다.
🧩 예를 들어 볼게요
- GPT-4의 컨텍스트 윈도우는 128K 토큰(약 30만 글자)
- Claude 3.5는 200K 토큰(약 50만 글자)
- Gemini 1.5는 무려 1M 토큰(약 7000페이지 분량)
즉, AI가 한 번에 읽고 이해할 수 있는 글자 수(또는 단어 수)가 다르다는 뜻이에요.
📚 2️⃣ “토큰(Token)”이란?
AI는 글자를 직접 읽는 게 아니라, ‘토큰(token)’이라는 단위로 쪼개서 이해합니다.
하나의 문장은 여러 개의 토큰으로 나뉘죠.
예시 👉 “나는 오늘 커피를 마셨다.” → 약 8~10개의 토큰
따라서 컨텍스트 윈도우 크기 = AI가 한 번에 처리할 수 있는 토큰 수
즉, 기억 가능한 정보의 양을 의미합니다.
💭 3️⃣ 쉽게 말하면 이런 개념이에요
| 💡 비유 | 설명 |
| 🧠 단기 기억창 | 지금 보고 있는 정보만 기억 |
| 📄 스크롤 가능한 노트 | 화면에 보이는 부분만 읽을 수 있음 |
| ⏳ 대화 한정 메모리 | 대화가 길어지면 예전 내용은 밀려나 사라짐 |
👉 즉, 윈도우 안의 정보만 이해하고,
그 밖의 내용은 **“잊는다”**는 것이 핵심이에요.
🧾 4️⃣ 예시로 보는 작동 원리
📏 모델의 컨텍스트 윈도우가 32K 토큰이라고 가정해볼게요.
- 당신이 아주 긴 문서를 입력하거나,
- 오랜 대화를 이어가서 총 50K 토큰이 되면
- 모델은 마지막 32K 토큰만 기억합니다.
- 앞부분 18K 토큰은 이미 “기억창 밖”으로 밀려나
- 대화 맥락에서 사라지게 됩니다.
그래서 종종 “앞에 말한 내용 잊었어요?” 라는 현상이 생기는 거예요 😅
⚙️ 5️⃣ 주요 LLM별 컨텍스트 윈도우 비교
| 🧩 모델 | 🪟 최대 컨텍스트 크기 | 💬 특징 |
| GPT-4-turbo | 128K tokens | 논문, 책 등 장문 요약 가능 |
| Claude 3.5 Sonnet | 200K tokens | 문맥 유지력이 강함 |
| Gemini 1.5 Pro | 1M tokens | 수천 페이지도 한 번에 처리 가능 |
📈 예전엔 4K(약 8,000자)였는데,
지금은 수백 배 확대되어
“장문 이해 AI 시대”가 열렸습니다.
🧠 6️⃣ 컨텍스트 윈도우 vs 메모리(memory)
많이 헷갈리는 부분이에요.
컨텍스트 윈도우는 단기 기억,
메모리는 장기 기억이라고 생각하면 됩니다.
| 구분 | 컨텍스트 윈도우 | 메모리 |
| 💬 의미 | 현재 대화 내에서 기억 가능한 범위 | 과거 대화까지 저장되는 장기 기억 |
| ⏳ 지속성 | 세션 종료 시 사라짐 | 여러 대화 간 유지 |
| 예시 | “방금 말한 내용 기억해?” | “내 이름이 준섭인 거 기억해?” |
💡 7️⃣ 효율적으로 활용하는 팁
✅ 1. 핵심만 남기기
→ 불필요한 반복 문장은 토큰 낭비예요.
✅ 2. 중간 요약 넣기
→ 대화가 길어질수록 “요약된 문맥”을 AI에게 다시 전달해 주세요.
✅ 3. 중요한 정보 재상기 시키기
→ “앞에서 말한 A 내용을 기억하고 아래 질문에 답해줘”
이런 식으로 문맥을 유지하면 훨씬 정확한 답을 얻을 수 있습니다.
🌟 8️⃣ 한줄 정리
🪟 “컨텍스트 윈도우는 LLM의 단기 기억창이다.”
이 창 안에 있는 정보만 이해하고, 그 밖은 잊는다.
🖋️ 마무리
AI의 능력은 “얼마나 똑똑한가”보다
“얼마나 많은 문맥을 이해할 수 있는가”에 달려 있습니다.
그래서 컨텍스트 윈도우는 LLM의 진정한 한계이자 가능성이에요.
💬 AI에게 정보를 줄 때는
핵심만, 명확하게, 짧게!
이것이 ‘AI 대화력’을 높이는 최고의 비결입니다. 💫
공부공책 