프롬프트가 진짜 효과 있나 — AI에게 잘 묻는 법의 과학

ChatGPT나 Claude를 매일 쓰다 보면 누구나 한 번쯤 궁금해집니다. "어떻게 물어야 더 잘 답할까?" 이렇게 대답을 받으려고 모델 앞에 넣는 글이 프롬프트입니다. 인터넷에는 "이 한 줄만 붙이면 AI가 천재가 된다"는 문장이 넘칩니다. 연구자들은 이런 주장을 벤치마크, 곧 정해 둔 문제 묶음으로 재 왔습니다. 이 글은 어떤 기법이 어떤 모델과 과제에서 효과를 보였고 어디서 엇갈렸는지 정리합니다.

효과가 보고된 것: 중간 단계를 적은 예시 보여 주기

AI가 답을 내기 전에 중간 풀이 단계를 문장으로 하나씩 적어 내려가는 것을 사고연쇄(Chain-of-Thought, CoT)라고 부릅니다(「AI는 정말 '생각'하는가」의 정의 그대로입니다). 그런 풀이를 끌어내는 방법 가운데 가장 널리 시험된 것이 사고연쇄 프롬프팅입니다. 사고연쇄 프롬프팅은 답에 이르는 중간 추론 단계를 적은 예시를 프롬프트에 넣어, 모델도 중간 단계를 적어 가며 답하게 하는 방법입니다. 2022년의 원 논문에서 큰 모델의 산술·상식·기호 추론 성능이 눈에 띄게 올랐습니다. 학습으로 정해지는 모델 안의 숫자인 파라미터가 5,400억 개인 모델에 예시 8개만 주자, 초등 수학 문장제 벤치마크(GSM8K)에서 그때까지의 최고 성능을 냈습니다 (arXiv:2201.11903, 프리프린트).

다만 이 효과는 충분히 큰 모델에서 나타났습니다. 그 논문은 이 추론 능력이 큰 모델에서 자연스럽게 생겨나고, 사고연쇄 프롬프팅이 그것을 끌어낸다고 해석합니다.

사고연쇄 프롬프팅 위에 얹는 기법들도 시험됐습니다. 챗봇은 확률에 따라 다음 조각을 뽑기 때문에(「생성형 AI의 대답」이 설명한 샘플링입니다) 같은 문제도 풀 때마다 다른 풀이가 나올 수 있습니다. 자기일관성(Self-Consistency)은 한 문제를 여러 갈래로 풀게 한 뒤 가장 많이 나온 답을 고르는 방법입니다. 2022년의 이 논문에서 GSM8K 성적이 사고연쇄 프롬프팅만 쓸 때보다 +17.9% 올랐습니다 (arXiv:2203.11171). 생각의 나무(Tree of Thoughts)는 한 줄로 쭉 추론하는 대신 여러 갈래를 탐색하고 스스로 평가하게 합니다. 2023년의 실험에서 GPT-4는 계획과 탐색이 필요한 숫자 퍼즐 '24 게임'을 사고연쇄 프롬프팅으로는 4%밖에 못 풀었는데, 이 방법으로 74%까지 풀었습니다 (arXiv:2305.10601). 시행착오에서 얻은 오류 분석으로 프롬프트를 스스로 고쳐 나가는 '생각의 부스팅'도 있습니다 (arXiv:2402.11140).

예시 제시(few-shot)는 정답이 달린 예시 몇 개를 프롬프트에 넣어 모델이 그 방식을 따라 하게 하는 방법입니다. 파라미터를 고치지 않고 앞글의 예시만으로 새 과제를 해내는, 「다음 낱말을 맞히는 훈련이 어떻게 대화가 되는가」가 말한 맥락 내 학습을 쓰는 방법입니다. 다만 예시를 어떻게, 어떤 순서로 넣느냐에 따라 결과가 출렁이고, 이 점은 다음 절에서 봅니다.

「few-shot」이라는 이름은 적은 양의 학습 자료로 모델을 다루는 경우에도 쓰입니다. 학습 자료가 적은 언어 환경에서 독일어 의사 소견서의 단락을 종류별로 나눈 2024년 연구가 그런 경우입니다. 의료 글에 맞춰 둔 가벼운 모델(대화형 챗봇과 다른 종류의 작은 모델)을 예시 20개라는 적은 학습 자료와 프롬프트로 다룬 결과, 전통적 분류 모델보다 정확도가 30.5% 높았습니다(논문 표기) (arXiv:2403.13369). 여기서 예시는 대화창에 넣는 예시와 달리 적은 양의 학습 자료로 쓰였습니다.

추론을 좋게 만드는 노력은 프롬프트 밖, 곧 모델을 다시 학습시키는 쪽으로도 이어집니다. 풀이의 단계마다 점수를 매겨 보상하는 방법(arXiv:2312.08935)과, 단계마다 더 나은 쪽을 고른 짝으로 학습시키는 방법(arXiv:2406.18629)이 수학 정확도를 끌어올렸습니다. 2025년의 긴 사고연쇄(Long CoT) 서베이는 깊은 추론·폭넓은 탐색·되돌아보기가 복잡한 문제를 푸는 열쇠라고 보면서도, 지나치게 오래 생각하는 '과도한 생각(overthinking)'을 둘러싼 논쟁이 이어진다고 적습니다 (arXiv:2503.09567).

미묘하거나 과장된 것: 프롬프트는 생각보다 잘 흔들린다

예시를 넣은 프롬프트에서는 형식을 사소하게 바꿔도 성능이 크게 출렁였습니다. 2023년에 널리 쓰이던 여러 오픈소스 모델에서, 의미는 같고 콜론을 쓰느냐 줄바꿈을 어디 두느냐 정도만 다른 프롬프트가 성능을 바꿨습니다. LLaMA-2-13B에서는 이런 형식 변화만으로 정확도가 최대 76점까지 벌어졌습니다. 이 민감성은 모델을 키워도, 예시를 더 넣어도, 지시와 대답을 짝지은 예시로 미세조정하는 인스트럭션 튜닝을 해도 사라지지 않았습니다. 그래서 같은 논문은 "단 하나의 형식으로 잰 성능만 보고하는 관행"에 의문을 던집니다 (arXiv:2310.11324, 프리프린트). 성능 숫자 하나는 그 형식 하나에서 잰 값이라는 뜻입니다.

예시의 순서도 성능을 흔듭니다. 똑같은 예시를 순서만 바꿔도 성능이 '거의 무작위'에서 '거의 최고 수준'까지 오갈 수 있다는 보고가 있습니다 (arXiv:2402.11447). 각 토큰이 자기보다 앞의 토큰만 참고하는 자기회귀(causal) 모델이 이 순서에 특히 민감하다는 분석도 있습니다 (arXiv:2402.15637). 이 연구들은 대책도 내놓았습니다. 여러 형식을 자동으로 훑어 기대 성능의 구간을 보고하는 도구, 예시를 배열하는 원리, 순서 민감성을 줄이는 미세조정이 각각 제안됐고 효과가 보고됐습니다 (arXiv:2310.11324, arXiv:2402.11447, arXiv:2402.15637).

그래서 연구의 관심은 "마법의 한 줄"에서 견고함(robustness), 곧 표현이 조금 바뀌어도 성능이 덜 흔들리는 성질로 옮겨갑니다. 2024년의 한 서베이는 "AI가 사람처럼 생각할 것"이라고 기대하는 설계의 한계를 지적합니다. 50편의 대표 연구를 검토한 저자들은, 사람의 논리적 사고 흐름을 따라가게 하는 목표지향적 프롬프트 구성이 성능을 유의하게 개선한다고 보고합니다 (arXiv:2401.14043). 2025년의 다른 연구자들은 프롬프트 개발이 여전히 그때그때의 시행착오에 머물러 있다며 이를 '프롬프트웨어 위기'라 부르고, 소프트웨어 공학의 원칙을 끌어와야 한다고 주장합니다 (arXiv:2503.02400).

공손함과 감정 자극 — 효과는 엇갈린다

"제발 부탁해", "이건 내 커리어가 달린 일이야" 같은 문장을 붙이면 AI가 더 잘한다는 이야기가 있습니다. EmotionPrompt는 원래 프롬프트에 이런 감정 섞인 문장을 덧붙이는 방법입니다. 2023년의 초기 논문은 Flan-T5·Llama 2·ChatGPT·GPT-4 등 그때의 여러 모델로 45개 과제를 자동 평가했고, 감정 자극이 성능을 끌어올렸다고 보고했습니다(지시 유도 8%, BIG-Bench 115% 상대 개선 — 원래 성적에 대한 비율). 106명이 참여한 사람 평가에서도 생성 과제의 성능·진실성·책임성 지표가 평균 10.9% 올랐습니다 (arXiv:2307.11760, 프리프린트). 같은 해의 후속 연구는 성능을 높이도록 고른 감정 문장(EmotionPrompt)과 깎도록 고른 감정 문장(EmotionAttack)을 함께 시험해, 감정 자극이 어느 쪽으로도 작용할 수 있음을 보였습니다 (arXiv:2312.11111).

2026년의 한 연구(프리프린트)는 부작용 가능성을 보고합니다. 이 연구의 평가에서 긍정적 감정 자극은 정확도를 높이고 독성, 곧 거칠거나 해로운 표현을 줄이는 쪽이었습니다. 그러면서 아첨(sycophancy), 곧 사용자의 말에 맞춰 동조하는 경향도 늘리는 쪽이었습니다 (arXiv:2604.07369). 정확도와 함께 아첨도 늘 수 있다는 결과입니다. 감정 자극과 구조적 프롬프트를 결합하려는 시도도 있습니다 (arXiv:2404.10500). 어떤 감정 문장이냐에 따라 효과의 방향이 달랐고, 이득과 함께 부작용도 보고됐습니다.

같은 기법, 다른 결과 — 모델과 과제가 결과를 바꾼다

같은 기법도 모델마다 통할 수도, 안 통할 수도 있습니다. 2026년의 한 통제 실험은 예시를 여럿 넣는 다중 예시(multi-shot) 프롬프트로 글을 분류하게 하고, 사람 연구자의 분류와 얼마나 맞는지 쟀습니다. 이 방식은 Claude Haiku에서는 일치도를 통계적으로 유의하게, 작은 폭으로 높였지만 DeepSeek-Chat과 Gemini 2.5 Flash에서는 그러지 못했고, 되풀이했을 때의 안정성도 모델마다 달랐습니다 (arXiv:2605.07422, 프리프린트). 독일어 설문 응답을 분류한 2025년 연구에서도 모델 사이 성능 차가 컸고, 프롬프트 방식의 효과는 어떤 모델을 쓰느냐에 좌우됐습니다. 이 연구에서 프롬프팅만으로 만족스러운 예측 성능에 이른 모델은 없었고, 미세조정한 모델만 그 수준에 이르렀습니다 (arXiv:2506.14634).

과제 성격도 결과를 바꿉니다. 제로샷 사고연쇄(zero-shot chain-of-thought)는 예시 없이 "단계별로 생각해" 같은 지시만 붙여 중간 단계를 쓰게 하는 방법입니다. 2023년의 한 연구에서 MMLU라는 벤치마크의 도덕 시나리오 과제에 이 방법을 쓰자, 수학과 달리 정확도가 그냥 묻는 경우보다 약 4% 떨어졌습니다. 같은 연구는 모델이 '만약 ~라면?' 하는 반사실 질문을 스스로 던지고 답하게 하는 프롬프트 틀을 설계해, 예시 없이 묻는 다른 방식들보다 정확도를 9~16% 끌어올렸습니다. 예시 다섯 개를 더하자 최대 80%까지 올랐습니다 (arXiv:2306.14308). 이 연구에서는 예시 없는 「단계별로 생각해」가 그 과제에 통하지 않았고, 그 과제에 맞춰 설계한 틀은 정확도를 올렸습니다.

반대로 효과가 크게 나온 과제도 있습니다. 2025년의 안전한 코드 생성 연구에서는 보안에 초점을 맞춘 프롬프트 접두사가 일부 GPT 모델에서 취약점을 최대 56% 줄였습니다. 시험한 모든 모델이 프롬프트를 되풀이해 주는 방식으로, 앞서 자기가 만든 코드의 취약점 41.9~68.7%를 찾아 고쳤습니다 (arXiv:2502.06039). 여러 언어가 섞인 환경에서는 프롬프트를 한 언어로 미리 번역해 두느냐, 섞인 채 묻느냐 같은 전략이 분류 성능을 크게 좌우했습니다 (arXiv:2507.22923).

끝으로, 겉이 그럴듯한 답이 속까지 맞는 것은 아닙니다. 2026년의 한 평가 연구는 프롬프트의 항목을 일부러 빼 보는 실험을 했습니다. 총점에서 만점을 받은 답 가운데서도 사용자의 구체적 의도를 놓친 답이 중국어 출력의 25.7%, 영어 출력의 58.6%였습니다 (arXiv:2605.14517, 프리프린트). 답의 모양이 갖춰졌다고 해서 요청의 뜻까지 지켜졌다고 볼 수는 없다는 뜻입니다.

그래서 결론은

"프롬프트를 고쳐 쓰는 일은 이제 의미가 없다"는 쪽과 "여전히 중요하다"는 쪽 모두 근거를 댈 수 있습니다. 사고연쇄 프롬프팅·예시 제시·자기일관성은 그 연구들이 시험한 모델과 과제에서 벤치마크로 효과가 보고됐습니다. 동시에 형식·순서·표현 같은 사소한 변화에 성능이 출렁였으므로, "이 한 줄이면 끝"이라는 약속은 대체로 과장입니다. 어떤 기법의 효과든, 언제의 어느 모델과 어느 과제에서 잰 것인지와 함께 읽어야 합니다.

그 효과에도 예외가 있었습니다. MMLU의 도덕 시나리오 과제에서는 예시 없이 지시만 붙인 제로샷 사고연쇄가 그냥 묻는 경우보다 정확도를 약 4% 떨어뜨렸고, 예시는 순서에 따라 결과가 출렁였습니다. 감정 자극은 문장에 따라 효과의 방향이 달랐고, 긍정적 감정 자극이 아첨을 늘렸다는 한 연구가 있습니다. 잘 묻는 일과 함께 받은 답을 의심하는 일이 필요한 까닭입니다.

---

면책: AI는 빠르게 바뀌는 분야입니다. 여기 모은 결과는 2022년부터 2026년 사이에 나온 연구가 그때의 모델로 잰 것이고, 같은 기법도 모델마다 다르게 작동했습니다. 인용한 상당수는 동료심사 전 프리프린트라 결과가 바뀔 수 있습니다. 처방이 아니라 각 연구가 시험한 조건에서의 근거로 읽어 주십시오.

근거 논문 (arXiv)

• arXiv:2201.11903 — Chain-of-Thought Prompting Elicits Reasoning in LLMs
• arXiv:2203.11171 — Self-Consistency Improves Chain of Thought Reasoning
• arXiv:2305.10601 — Tree of Thoughts: Deliberate Problem Solving
• arXiv:2402.11140 — Boosting of Thoughts
• arXiv:2403.13369 — Clinical Information Extraction with Few-shot/Prompting
• arXiv:2312.08935 — Math-Shepherd: step-by-step verify and reinforce
• arXiv:2406.18629 — Step-DPO: step-wise preference optimization
• arXiv:2503.09567 — Survey of Long Chain-of-Thought
• arXiv:2310.11324 — Sensitivity to Spurious Features in Prompt Design (formatting)
• arXiv:2402.11447 — In-Context Example Ordering Guided by Label Distributions
• arXiv:2402.15637 — Order Sensitivity of In-Context Demonstrations
• arXiv:2401.14043 — Goal-oriented Prompt Engineering (anthropomorphic limit)
• arXiv:2503.02400 — Promptware Engineering (프롬프트웨어 위기)
• arXiv:2307.11760 — EmotionPrompt: Emotional Stimuli
• arXiv:2312.11111 — The Good, The Bad, and Why: Emotions in Generative AI
• arXiv:2604.07369 — Emotional Stimuli and Intensity (sycophancy)
• arXiv:2404.10500 — Auto-Prompt Graphical Paradigm (emotional + framework)
• arXiv:2605.07422 — Prompt Engineering for Qualitative Coding (model-dependent)
• arXiv:2506.14634 — LLMs for Coding German Survey Responses
• arXiv:2306.14308 — Thought Experiments / Counterfactuals (zero-shot CoT hurts moral reasoning)
• arXiv:2502.06039 — Prompt Engineering for Secure Code Generation
• arXiv:2507.22923 — Translation Strategies in Cross-lingual Prompting
• arXiv:2605.14517 — Dimension-Level Intent Fidelity Evaluation