AI는 고장난 게 아니라 과부하에 걸린 겁니다. 컨텍스트 과부하의 신호와 대화를 궤도에 유지하는 다섯 가지 실전 전략을 알아보세요.
ChatGPT와 스무 번째 메시지를 주고받는 중입니다. 프로젝트 개요, 세 차례의 피드백, 상세한 요구사항까지 모두 전달했죠. 그런데 간단한 후속 질문을 던졌더니 — 답변이 지금까지 나눈 이야기를 완전히 무시합니다. 마치 방금 한 시간 동안의 대화를 갑자기 잊어버린 사람과 이야기하는 기분입니다.
착각이 아닙니다. AI가 망가진 것도, 당신이 뭔가를 잘못한 것도 아닙니다. AI 어시스턴트를 다룰 때 가장 많이 오해받는 부분 중 하나, 바로 컨텍스트 윈도우(context window)에 부딪힌 겁니다.
컨텍스트 윈도우는 AI의 작업 메모리입니다. 어느 시점이든 AI가 "볼 수 있고" 추론에 활용할 수 있는 텍스트의 양이죠. 한 번에 머릿속에 담을 수 있는 정보량에 한계가 있는 동료처럼, AI에게도 한계가 있습니다. 그 한계를 넘어가는 순간부터 예측 가능한 방식으로 대화가 무너지기 시작합니다.
AI가 과부하에 걸렸다는 신호를 알아차리고, 어떻게 대처해야 하는지 살펴보겠습니다.
대화 도중 AI가 헷갈리는 이유
컨텍스트 윈도우를 화이트보드라고 생각해보세요. 당신이 입력하는 모든 것 — 질문, AI의 답변, 붙여넣은 문서 — 이 모두 그 화이트보드에 적힙니다. AI는 답할 때마다 그 전체를 다시 읽습니다.
문제는요? 화이트보드의 크기가 정해져 있다는 점입니다. 가득 차면 새 메시지를 위해 오래된 내용이 지워지거나 압축됩니다. AI는 이 사실을 당신에게 알려주지 않습니다. 그저 슬그머니 이상하게 행동하기 시작할 뿐이죠.
AI 도구마다 화이트보드 크기가 다릅니다:
ChatGPT (GPT-5): Plus 사용자는 128,000토큰, API로는 최대 400,000토큰
Claude: 기본 200,000토큰, 엔터프라이즈 사용자는 최대 100만 토큰
Gemini: Gemini 3 Pro에서 최대 200만 토큰
토큰 하나는 대략 단어 4분의 3개 정도입니다. 그러니까 128,000토큰은 약 96,000단어 — 충분해 보이지만, 길게 오가는 대화에 문서 몇 개를 붙여넣으면 생각보다 빠르게 바닥납니다.
그런데 대부분의 가이드가 짚지 않는 함정이 하나 있습니다. 광고된 한계가 곧 실효 한계는 아니라는 것.All About AI의 조사에 따르면, 최대치에 한참 못 미치는 시점부터 성능이 떨어지기 시작합니다. 예를 들어 GPT-4 Turbo는 기술적으로는 128,000토큰을 처리할 수 있지만, 약 32,000토큰만 넘어도 정확도가 흔들리기 시작합니다.
"중간이 사라지는" 문제
컨텍스트 한계 안에 있더라도 또 다른 문제가 있습니다. AI 모델은 컨텍스트 윈도우에 들어 있는 모든 내용을 똑같이 주의 깊게 보지 않습니다.
스탠퍼드 연구진의 한 획기적인 연구는 언어 모델이 입력의 맨 처음과 맨 끝에 있는 정보를 가장 잘 활용한다는 사실을 밝혔습니다. 중간에 있는 정보는요? 다루기 어려워합니다. 연구진은 이 현상을 "중간에서 길을 잃는다(lost in the middle)"고 불렀습니다.
실험에서 GPT-3.5-Turbo는 핵심 정보가 처음이나 끝이 아니라 컨텍스트 한가운데에 묻혀 있을 때 정답률이 20% 넘게 떨어졌습니다.
AI의 주의력이 컨텍스트의 처음과 끝에서 가장 높고 중간에서 가장 낮다는 것을 보여주는 U자형 곡선
이렇게 U자 모양의 주의력 곡선이 만들어집니다. AI는 처음 몇 메시지와 가장 최근 메시지에는 신경을 곤두세우지만, 중간 앞쪽에 있는 내용에는 가중치를 덜 둡니다. 정보를 못 본다는 게 아니라, 모델 구조 자체가 특정 위치를 자연스럽게 우선시하는 거죠.
실전 교훈은 이렇습니다. 가장 중요한 정보는 프롬프트의 맨 앞에 두거나 끝부분에서 다시 한 번 강조하세요. 여섯 메시지 전에 흘려놓은 핵심 디테일을 AI가 그대로 기억하고 있으리라 기대하지 마세요.
AI가 흐름을 놓치고 있다는 경고 신호
AI가 완전히 궤도를 이탈하기 전에 보통 경고 신호가 먼저 나타납니다. 이걸 일찍 알아채면 헷갈리는 대화에 시간을 낭비하기 전에 방향을 바로잡을 수 있습니다.
반복과 같은 자리 맴돌기: 같은 조언을 단어만 살짝 바꿔서 되풀이하기 시작합니다. 같은 이야기를 이미 했다는 걸 잊은 친구처럼요.
잊혀진 디테일: 앞서 언급한 사실 — 프로젝트 마감일이나 특정 제약 조건 같은 — 이 마치 처음부터 없었던 것처럼 무시됩니다.
일반적이거나 동떨어진 답변: 당신의 구체적인 맥락 위에 답을 쌓아가지 않고, 누구에게나 적용될 만한 두루뭉술한 응답이 돌아옵니다.
모순되는 답변: 앞서 했던 말과 정면으로 충돌하는 제안을, 변경 사실을 인정하지도 않은 채 내놓습니다.
지시 망각: 특정 형식이나 역할을 따라달라고 부탁했고 몇 메시지 동안은 따랐지만, 어느 순간 슬며시 기본 동작으로 돌아갑니다.
이런 신호가 보이면 컨텍스트 윈도우가 빽빽해지고 있다는 뜻입니다. 손쓸 시간이죠.
AI를 궤도에 유지하는 다섯 가지 전략
컨텍스트 윈도우 자체를 키울 수는 없지만, 더 효과적으로 쓸 수는 있습니다. 실제로 효과 있는 다섯 가지 전략입니다.
1. 핵심부터 말하기
요청을 배경 설명 더미 아래 묻어두지 마세요. 원하는 것을 먼저 밝히고, 그다음에 보조 맥락을 덧붙이세요. AI는 처음 부분에 가장 집중합니다 — 그 자리는 가장 중요한 내용을 위해 남겨두세요.
이렇게 쓰지 마세요:
이 프로젝트를 3개월째 진행 중입니다. 처음에는 다른 방식으로 시작했는데 사용자 테스트 후에 방향을 틀었습니다. 이해관계자들은 일정에 대해 구체적인 우려를 갖고 있습니다. 업데이트 이메일을 써야 합니다...
이렇게 써보세요:
이해관계자들에게 보낼 프로젝트 업데이트 이메일을 작성해야 합니다. 핵심 맥락: 프로젝트 중간에 방향을 전환하면서 일정이 2주 늦어졌습니다. 톤은 솔직하되 자신감 있게.
2. 진행하면서 요약하기
긴 대화에는 잡음이 쌓입니다 — 곁가지 이야기, 폐기된 아이디어, 탐색용 대화 같은 것들이죠. 중간중간 AI에게 지금까지의 핵심 결정을 정리해달라고 하거나, 직접 요약을 제공하세요.
이런 식으로 해보세요:
계속 진행하기 전에, 지금까지 결정된 내용을 정리해보겠습니다:
- 타겟 독자: 소상공인
- 톤: 전문적이면서도 친근하게
- 핵심 메시지: 이 제품이 청구서 작업 시간을 줄여준다
이제 첫 단락을 작성해봅시다.
이렇게 하면 진짜 중요한 내용으로 컨텍스트가 "리셋"되고, AI가 옛날 곁가지가 아니라 현재의 우선순위에 집중하게 됩니다.
3. 전략적으로 새로 시작하기
가장 좋은 해법이 새 대화창인 경우도 있습니다. 주제가 바뀌거나, 다른 작업으로 넘어가거나, 지금 대화가 엉망이 되었다면 새 채팅을 시작하세요.
그때는 꼭 필요한 것만 가져가세요. 핵심 맥락을 담은 짧은 "브리핑 문서"를 작성하는 겁니다 — 새 팀원에게 지난 한 달치 메일을 전부 넘기는 게 아니라 프로젝트 요약을 건네주는 것처럼요.
브리핑 예시:
프로젝트: 자사 이커머스 사이트의 결제 흐름 리디자인
목표: 장바구니 이탈률 15% 감소
제약 조건: 모바일에서 작동해야 하고, 결제사 변경은 불가
결정 사항: 단일 페이지 결제, 상단에 진행 표시줄
현재 작업: 주문 완료 페이지 카피 작성
한 채팅 말풍선에서 새로운 채팅 말풍선으로 브리핑 문서가 전달되는 모습
비슷한 브리핑 문서를 매번 — 프로젝트 이름이나 작업 설명만 바꿔가며 — 새로 쓰고 있다면, 템플릿으로 저장해두는 걸 고려해보세요. PromptNest 같은 도구를 쓰면 {{project_name}}, {{current_task}} 같은 변수와 함께 브리핑을 저장해두고, 빈칸만 채우면 몇 초 만에 바로 쓸 수 있는 컨텍스트 리셋문을 복사할 수 있습니다.
4. 명확한 구조 사용하기
AI는 모든 내용을 하나의 텍스트 덩어리로 받아들입니다. 헤더, 글머리 기호, 라벨이 붙은 섹션 같은 구조를 더해주면, 어디까지가 배경이고 어디부터가 실제 작업인지 AI가 더 잘 구분합니다.
구분자를 써서 섹션을 나눠보세요:
## 배경
저희는 마케팅 팀을 대상으로 하는 B2B SaaS 회사입니다.
## 현재 상황
무료 체험에서 유료 전환율이 8%입니다. 업계 평균은 12%입니다.
## 작업
무료 체험 전환을 높일 이메일 시퀀스를 세 가지 제안해주세요.
## 제약 조건
- 이메일은 각 150단어 이내
- 할인 제안은 사용하지 않음
맥락은 많을수록 좋은 게 아닙니다. 한 섹션만 필요한데 문서 전체를 던지면 오히려 결과가 나빠질 수 있습니다. AI가 무관한 디테일에 꽂히거나, 곁가지 정보에 정신이 팔릴 수 있거든요.
긴 문서를 붙여넣기 전에 스스로에게 물어보세요. 이 질문에 답하기 위해 AI가 정확히 어떤 부분이 필요한가? 잘 골라낸 발췌가 전체 파일보다 나은 경우가 많습니다.
Prompt Engineering Guide는 이렇게 말합니다. "날것의 데이터를 그대로 던지기보다는 간결한 요약이 낫다. 컨텍스트는 정보를 충분히 담되 간결하게 유지하라."
새 대화를 시작해야 할 때
새로 시작하면 그동안 쌓아온 게 사라지는 느낌이 들지만, 가장 빠른 길일 때가 종종 있습니다. 언제 그래야 할까요?
새 채팅을 시작해야 할 때:
완전히 다른 주제나 작업으로 넘어갈 때
AI가 여러 경고 신호(모순, 지시 망각, 일반적인 답변)를 동시에 보일 때
같은 자리를 몇 메시지째 맴돌고 있을 때
폐기된 아이디어와 곁가지가 잔뜩 쌓였을 때
현재 채팅을 유지해도 좋을 때:
같은 작업을 계속 다듬고 있을 때
AI가 앞선 맥락을 여전히 정확하게 참조하고 있을 때
이전 결과 위에 작업을 쌓고 있을 때(초안 다듬기, 개요 확장 등)
목표는 긴 대화를 피하는 게 아니라 어수선한 대화를 피하는 겁니다. 초점이 잡힌 30개 메시지짜리 대화는 멀쩡히 굴러갑니다. 곁가지로 가득 찬 15개 메시지짜리 대화가 오히려 문제를 일으키고 있을 수 있죠.
나만의 시스템 만들기
컨텍스트 윈도우를 잘 다루는 건 한 번에 끝나는 일이 아니라 습관입니다. AI 어시스턴트에서 꾸준히 좋은 결과를 얻는 사람들이 더 똑똑하거나 기술적으로 뛰어난 건 아닙니다. 그저 한계와 맞서 싸우는 대신 한계와 함께 일하는 법을 익혔을 뿐이죠.
먼저 경고 신호를 살피는 데서 시작하세요. 신호를 알아챘을 때 위 전략 중 하나를 시도해보세요. 시간이 지나면 언제 요약하고, 언제 구조를 다시 짜고, 언제 새로 시작해야 할지 감이 잡힙니다.
그리고 잘 굴러가는 컨텍스트 구조를 찾았다면 — 좋은 결과를 내는 브리핑 템플릿이나 AI를 궤도에 잡아두는 프롬프트 형식을 발견했다면 — 채팅 기록 속에 묻혀 사라지게 두지 마세요. 다시 찾을 수 있는 곳에 저장해두세요.
전용 도구를 원한다면, PromptNest는 네이티브 Mac 앱입니다. Mac App Store에서 $19.99 일회성 결제 — 구독 없음, 계정 없음, 로컬에서 실행됩니다. 즐겨 쓰는 프롬프트와 브리핑 템플릿을 프로젝트별로 정리하고, 자주 바뀌는 부분에는 변수를 넣고, 어떤 앱에서든 단축키 하나로 꺼내 쓸 수 있습니다. 같은 컨텍스트 세팅을 매번 기억으로 다시 쓸 일이 없어집니다.
