추론 과제 정확도를 18%에서 79%까지 끌어올린 단순한 프롬프팅 기법을 알아보고, 일상 업무에 바로 복사해 쓸 수 있는 예시까지 함께 살펴보세요.
약간의 사고가 필요한 질문을 ChatGPT에 던졌다고 해봅시다. 두 선택지를 비교하거나, 어떤 결정을 분석하거나, 여러 단계로 풀어야 하는 문제 같은 것 말이죠. AI는 즉시 자신만만한 답을 내놓습니다. 문제는 단 하나, 그 답이 완전히 틀렸다는 점입니다.
이런 일은 생각보다 자주 일어납니다. AI 어시스턴트는 문제를 실제로 추론하도록 훈련된 게 아니라, 그럴듯하게 들리는 답변을 생성하도록 훈련됐기 때문이죠. 복잡한 질문을 평소처럼 던지면 AI는 사고 과정을 건너뛰고 곧장 답으로 직행하기 일쑤입니다. 그러면서도 말투는 확신에 차 있고, 답은 엉망진창인 경우도 적지 않습니다.
다행히 해결책이 있습니다. 2022년 구글 연구진은 프롬프트에 한 문장만 덧붙이면 — "단계별로 생각해 봅시다" — 수학 문제 정확도가 17.7%에서 78.7%로 뛰어오른다는 사실을 발견했습니다. 오타가 아닙니다. 한 문장이 AI를 네 배 더 정확하게 만든 것이죠.
이 기법을 생각의 사슬(chain-of-thought) 프롬프팅이라고 부릅니다. AI가 결론으로 비약하지 않고 풀이 과정을 보여주도록 강제하기 때문에 효과가 있습니다. 수학 문제만이 아니라 실제 업무에 어떻게 적용하는지 지금부터 살펴보겠습니다.
생각의 사슬 프롬프팅이란?
생각의 사슬(CoT) 프롬프팅은 이름 그대로입니다. 최종 답을 내놓기 전에 추론 과정을 단계별로 설명해 달라고 AI에게 요청하는 거죠. "답이 뭐야?"라고 묻는 대신 "네 생각을 차근차근 풀어 본 다음 답을 줘"라고 묻는 방식입니다.
동료에게 풀이 과정을 보여 달라고 부탁하는 상황을 떠올려 보세요. 누가 아무 설명 없이 결론만 던져 주면, 정말 고민해서 내린 결론인지 그냥 찍은 건지 알 수 없습니다. 반면 "X를 검토했고, Z 때문에 Y는 제외했고, 그래서 이 결론에 이르렀다"고 추론을 따라가게 해 주면, 논리에 빈틈이 있는지 바로 짚어낼 수 있죠.
AI에도 같은 원리가 통합니다. 중간 단계를 말로 풀어내게 하면 두 가지 일이 벌어집니다.
AI가 추론 도중에 스스로 실수를 잡아냅니다
답이 어긋날 경우 어디서 논리가 꼬였는지 정확히 보입니다
AI는 왜 단계를 건너뛰고 틀린 답을 낼까
사람들 대부분이 잘 모르는 사실이 있습니다. AI 모델은 사람처럼 "사고"하는 게 아닙니다. 수십억 개의 텍스트 예시를 패턴 매칭해서 다음에 올 단어를 예측할 뿐이죠. 단도직입적인 질문이 들어오면 통계적으로 가장 그럴듯한 답으로 직행합니다.
단순한 질문이라면 이걸로 충분합니다. "프랑스 수도가 어디지?" 같은 질문에는 추론이 필요 없습니다. AI가 이 질문과 답을 짝지어 본 횟수만 수백만 번이거든요.
그런데 실제 논리가 필요한 일 — 선택지 비교, 트레이드오프 분석, 여러 단계의 문제 풀이 — 에서는 패턴 매칭만으로는 무너집니다. AI는 그럴듯하게 들리는 답을 골라서 내놓을 뿐, 그 답이 정말 맞는지 확인하는 작업은 건너뜁니다.
생각의 사슬 프롬프팅은 이 지름길을 끊어 버립니다. AI에게 추론을 소리 내어 풀어 달라고 시키면 중간 단계를 생성할 수밖에 없고, 그 단계들이 최종 답의 범위를 좁혀 줍니다. 자기가 어떻게 거기 도달했는지 보여 줘야 하는 상황에서는 틀린 결론에 닿기가 훨씬 어려워지는 거죠.
곧장 답으로 비약하는 AI와 단계별로 추론한 뒤 답을 내놓는 AI를 비교해 보여 주는 이미지
생각의 사슬을 가장 간단히 쓰는 법
가장 쉬운 버전은 별도 준비가 필요 없습니다. 프롬프트 끝에 다음 중 하나만 붙이면 끝입니다.
"단계별로 생각해 봅시다."
"네 추론 과정을 차근차근 보여 줘."
"최종 답을 주기 전에 사고 과정을 먼저 설명해 줘."
"이 문제를 단계별로 쪼개 줘."
연구진은 테스트에서 "단계별로 생각해 봅시다"가 가장 잘 통했다고 밝혔는데, 이후 후속 연구에서 한 단계 더 나은 표현이 발견됐습니다. "정답을 확실히 얻을 수 있도록 단계별로 차근차근 풀어 봅시다."
실제로 어떤 모습인지 살펴보죠. 입사 제안을 받아들일지 고민 중이라고 가정해 봅시다.
생각의 사슬 없이:
연봉을 20% 더 주지만 생활비가 40% 더 비싼 도시로 이주해야 하는 입사 제안을 받아들여야 할까?
이러면 AI는 표면적인 패턴 매칭만으로 "네"나 "아니요"를 빠르게 던질 수 있습니다.
생각의 사슬과 함께:
연봉을 20% 더 주지만 생활비가 40% 더 비싼 도시로 이주해야 하는 입사 제안을 받아들여야 할까?
결론을 내리기 전에 재무적 영향, 삶의 질 요인, 커리어 영향을 차례로 따져 가며 단계별로 짚어 줘.
이제 AI는 각 요인을 분리해서 분석하고, 20% 인상분이 40% 더 높은 생활비를 감당할 수 있는지 계산하고, 얻는 것과 잃는 것을 따져 본 뒤 근거 있는 추천을 내놓습니다.
퓨샷 CoT: AI에게 사고하는 법을 보여 주기
"단계별로 생각해 봅시다" 방식은 예시를 전혀 주지 않기 때문에 제로샷 CoT라고 부릅니다. 많은 상황에서 충분히 잘 작동하지만, 복잡하거나 전문적인 작업이라면 원하는 추론 패턴을 직접 시연해 주는 쪽이 결과가 더 좋습니다.
이 방식이 퓨샷(few-shot) CoT입니다. 비슷한 문제를 어떻게 풀어 가야 하는지 보여 주는 한두 개의 풀이 예시를 함께 붙이는 거죠.
비즈니스 의사결정 분석에 쓸 수 있는 템플릿입니다.
선택지를 평가하는 걸 도와줘. 각 선택지를 다음과 같은 방식으로 추론해 주면 좋겠어:
예시:
질문: 월간 결제에서 연간 결제로 전환해야 할까?
1단계 - 핵심 요인 정리: 현금 흐름의 예측 가능성, 고객 이탈 위험, 가격 심리.
2단계 - 각 요인 분석:
- 현금 흐름: 연간 결제는 매출을 미리 확보해 예측 가능성을 높입니다
- 이탈 위험: 연간 결제 고객은 이탈률이 더 낮습니다
- 가격: 손해 없이도 연간 플랜 할인을 제공할 수 있습니다
3단계 - 트레이드오프 비교: 가장 큰 단점은 신규 가입의 진입 장벽이 높아진다는 점입니다.
4단계 - 결론: 도입하되, 두 가지 옵션을 모두 제공하고 연간 플랜에 15% 할인을 적용합시다.
이제 같은 추론 구조를 다음 질문에 적용해 줘:
{{question}}
예시가 내 질문과 정확히 똑같을 필요는 없습니다. 원하는 추론 구조만 보여 주면 됩니다. AI가 그 패턴을 내 상황에 맞춰 응용해 줄 거예요.
생각의 사슬이 진짜 도움이 되는 경우(와 그렇지 않은 경우)
CoT 프롬프팅이 모든 AI 대화의 만능 해법은 아닙니다. 와튼 스쿨 연구에 따르면 어려운 문제에서는 성능을 높여 주지만, 쉬운 문제에서는 불필요한 복잡성을 끌어들여 오히려 정확도를 떨어뜨릴 수도 있습니다.
생각의 사슬을 써야 할 때:
여러 선택지를 비교하거나 트레이드오프를 따질 때
다단계 추론이나 계산이 필요할 때
문제를 진단하거나 원인을 짚어내야 할 때
답이 인과 관계 분석을 요구할 때
단순히 답이 아니라 AI의 추론 과정 자체를 이해하고 싶을 때
생각의 사슬을 건너뛸 때:
단순 사실이나 정의를 묻는 질문
브레인스토밍이나 글쓰기 같은 창의적 결과물이 필요할 때
요약이나 번역이 목적일 때
정확도보다 속도가 중요할 때
논리적 추론이 필요 없는 작업
한 가지 더 짚어 둘 점이 있습니다. CoT 프롬프팅은 작은 AI 모델에서는 효과가 떨어집니다. 구글의 원 연구에서 의미 있는 성능 향상은 1,000억 개 이상의 파라미터를 가진 모델에서만 나타났습니다. 요즘 쓰는 ChatGPT-4, Claude, Gemini 같은 일반 소비자용 AI라면 그 범위 안에 들어갑니다. 다만 더 오래되거나 작은 모델을 쓰고 있다면 결과가 들쭉날쭉할 수 있습니다.
실무에 바로 쓰는 CoT 프롬프트 5선
오늘부터 바로 복사해서 쓸 수 있는 프롬프트들을 모아 봤습니다. 각각 생각의 사슬 구조가 안에 들어가 있습니다.
1. 의사결정 분석
결정을 도와줘: {{decision_to_make}}
다음 순서로 단계별로 풀어 줘:
1. 내가 고려해야 할 핵심 요인 나열
2. 각 선택지가 이 요인들에 대해 어떻게 작용하는지 분석
3. 주요 위험과 트레이드오프 정리
4. 추론 근거와 함께 추천안 제시
일반론 말고 내 상황에 맞춰 구체적으로 답해 줘.
2. 장단점 비교
다음 두 선택지를 비교해 줘: {{option_1}} vs {{option_2}}
체계적으로 짚어 줘:
1. 먼저, 이런 종류의 결정에서 가장 중요한 5가지 기준을 뽑아 줘
2. 각 선택지를 기준별로 평가
3. 절대 양보 못 하는 조건이나 반드시 갖춰야 할 조건 표시
4. 전체 트레이드오프 비교
5. 명확한 추천안 제시
장단점만 나열하지 말고, 어떤 요인이 더 중요한지, 왜 그런지를 실제로 추론해 줘.
3. 근본 원인 분석
이 일이 왜 일어나는지 함께 짚어 줘: {{problem_description}}
다음 추론 절차를 따라 줘:
1. 실제로 일어나는 일과 일어나야 할 일이 어떻게 다른지 정리
2. 가능한 원인을 모두 나열 (가능성이 낮은 것까지)
3. 각 원인에 대해, 그 원인이 맞다고 또는 아니라고 판단할 수 있는 근거가 무엇일지 검토
4. 주어진 정보를 바탕으로 가장 유력한 근본 원인 지목
5. 이를 검증하는 방법과 다음 조치 제안
4. 단계별 계획 수립
나는 이걸 해야 해: {{goal}}.
단계별로 쪼개 줘:
1. 먼저, 무엇을 시작하기 전에 갖춰야 할 사전 조건이 뭔지 짚어 줘
2. 그다음 큰 단계나 마일스톤을 흐름으로 정리
3. 각 단계마다 구체적으로 해야 할 행동을 나열
4. 의존 관계 표시 (어떤 일이 끝나야 다음 일을 시작할 수 있는지)
5. 막힐 수 있는 지점과 대처법 정리
구체적으로 — 두루뭉술한 조언 말고 바로 실행할 수 있는 단계로 줘.
5. 복합적인 질문 분석
{{complex_question}}
답을 내놓기 전에 차근차근 짚어 보자:
1. 이 질문이 진짜로 묻고 있는 게 뭔지 분해
2. 질문 안에 깔려 있는 전제가 있는지 확인
3. 답에 영향을 미치는 핵심 요인 추출
4. 각 요인을 추론
5. 그 추론을 근거로 답을 제시
진짜 불확실한 부분이 있다면 확신하는 척하지 말고 솔직히 인정해 줘.
이 프롬프트들은 모두 같은 패턴을 따릅니다. 필요한 것을 먼저 말한 뒤, AI가 따라야 할 추론 과정을 명시적으로 풀어 주는 방식이죠. 이 구조 덕분에 AI가 결론으로 비약하지 않고 충실하게 분석을 끝까지 끌고 가게 됩니다.
다양한 작업에 맞춰 변수 자리에 값을 채워 넣고 있는 프롬프트 템플릿 카드
이 프롬프트들을 — 결정, 문제, 질문만 바꿔 가며 — 반복해서 쓰고 있다면, PromptNest 같은 도구가 {{variables}}까지 미리 넣은 채로 통째로 저장해 둘 수 있게 도와줍니다. 필요할 때 빈칸만 채우고 완성된 프롬프트를 복사하면 끝입니다.
추론이 어긋날 때 트러블슈팅
생각의 사슬 프롬프팅을 써도 AI가 단계는 보여 주는데… 결론은 여전히 틀리는 경우가 있습니다. 이럴 땐 이렇게 다뤄 보세요.
추론은 멀쩡한데 결론이 틀린 경우. AI가 잘못된 전제에서 출발했을 가능성이 큽니다. "여기서 어떤 가정을 깔고 있어? 명시적으로 다 나열해 줘."라고 물어보세요. 오류는 보통 논리 자체가 아니라 말하지 않은 전제에 있습니다.
AI가 중요한 요인을 놓친 경우. 이렇게 답하면 됩니다. "{{factor}}를 고려하지 않았어. 이걸 넣으면 분석이 어떻게 달라져?" AI가 새 정보를 반영해 결론을 다시 다듬어 주는 경우가 많습니다.
추론이 빙빙 돌거나 두루뭉술한 경우. 더 구체적으로 요구하세요. "2단계에서 '이건 위험할 수 있다'고 했는데, 정확히 어떤 위험을 말하는 거야? 어떻게 정량화할 수 있어?" 구체성을 강제하면 흐릿한 사고가 그대로 드러납니다.
AI가 지나치게 자신감에 차 있다고 느낄 때. 이렇게 시도해 보세요. "반대 입장에서 따져 봐. 이 결론에 맞설 수 있는 가장 강한 반박은 뭘까?" 첫 답변에서 AI가 슬쩍 넘어간 약점이 자주 드러납니다.
생각의 사슬 프롬프팅의 핵심은 단지 더 좋은 답을 얻는 데 있지 않습니다. AI의 추론을 눈에 보이게 만들어, 오류를 잡고 바로잡을 수 있게 해 주는 것이 진짜 목적입니다. 첫 응답은 최종 답이 아니라 출발점으로 삼으세요.
오늘부터 생각의 사슬 써 보기
기법을 외우거나 복잡한 프레임워크를 따라야 할 필요는 없습니다. 핵심 아이디어 하나만 기억하면 됩니다. AI가 추측이 아니라 진짜로 사고하길 원한다면, 풀이 과정을 보여 달라고 말하세요.
분석, 비교, 트러블슈팅처럼 평소 AI에 자주 시키는 작업 하나에서 시작해 보세요. "이걸 단계별로 짚어 보자"를 덧붙이고, 응답이 어떻게 달라지는지 살펴보면 됩니다. 그 차이를 한 번 체감하고 나면, 언제 써야 할지 자연스럽게 감이 옵니다.
이런 추론용 프롬프트를 한 곳에 모아 두고 싶다면 어디에 저장하든 상관없습니다. 메모 앱, 문서, 평소에 쓰던 어떤 도구라도 좋습니다. 다만 좀 더 이 용도에 맞춘 도구가 필요하다면 PromptNest가 있습니다. Mac App Store에서 19.99달러 일회성 결제 — 구독 없음, 계정 가입 없음, 로컬에서 동작 — 로 받을 수 있는 네이티브 Mac 앱이고, 변수 기능까지 갖춘 채로 프롬프트를 정리해 줍니다. 어느 쪽이든 핵심은 같습니다. 가장 잘 먹히는 프롬프트들을 옛 대화 기록 속에 묻어 두지 말고, 필요할 때 곧장 꺼내 쓸 수 있게 준비해 두세요.
사고를 도와주는 AI와 그저 자신만만하게 들리는 AI의 차이는, 결국 한 문장으로 갈립니다. "이걸 단계별로 함께 짚어 보자."