Paperis 아티클
'단계별로 생각해'부터 '감정을 자극하는 한 줄'까지, 벤치마크가 말하는 것.
이 글은 AI가 연구 논문을 바탕으로 작성한 교육·정보 제공용 콘텐츠이며, 전문가의 조언을 대체하지 않습니다. 오류를 발견하셨나요? 알려주세요
© 2026 네오쿤스(Paperis) · 링크 공유는 환영합니다. 전문 전재·재배포는 사전 허가가 필요합니다.
ChatGPT나 Claude를 매일 쓰다 보면 누구나 한 번쯤 궁금해집니다. "어떻게 물어야 더 잘 답하지?" 인터넷엔 "이 한 줄만 붙이면 AI가 천재가 된다"는 마법의 주문이 넘칩니다. 그게 진짜일까요? 연구자들은 이걸 실제로 벤치마크로 재 왔습니다. 무엇이 일관되게 듣고, 무엇이 그저 그럴듯한 미신인지 — 논문이 말하는 바를 정리했습니다.
가장 단단한 근거를 가진 기법은 사고연쇄(Chain-of-Thought, CoT) 입니다. 답을 바로 내놓게 하는 대신 중간 추론 단계를 하나씩 풀어 쓰게 하는 것이죠. 대표 논문은 큰 모델에게 사고연쇄 예시 몇 개만 보여줘도 산술·상식·기호 추론 성능이 눈에 띄게 오른다는 걸 보였습니다. 5,400억 파라미터 모델에 예시 8개만 주고도 수학 문장제(GSM8K)에서 당시 최고 성능을 냈다고 보고합니다 (arXiv:2201.11903).
여기 중요한 단서가 있습니다. 이 효과는 충분히 큰 모델에서 자연스럽게 나타난다는 것. 작은 모델에선 잘 안 통합니다. "단계별로 생각해"는 마법 주문이라기보다, 모델이 이미 가진 추론 능력을 끌어내는 스위치에 가깝습니다.
CoT 위에 얹는 기법들도 검증돼 있습니다. 자기일관성(Self-Consistency) 은 한 번만 풀게 하지 않고 여러 갈래로 풀게 한 뒤 가장 많이 나온 답을 고릅니다. 이 단순한 변화로 GSM8K에서 +17.9%p 같은 큰 향상이 보고됐습니다 (arXiv:2203.11171). 생각의 나무(Tree of Thoughts) 는 한 줄로 쭉 추론하는 대신 여러 갈래를 탐색하고 자기평가하게 합니다. GPT-4가 사고연쇄로는 4%밖에 못 풀던 '24 게임'을 74%까지 끌어올렸다고 합니다 (arXiv:2305.10601). 이를 더 밀어붙여 시행착오 경험을 모아 프롬프트를 스스로 고쳐 나가는 '생각의 부스팅'도 있습니다 (arXiv:2402.11140).
예시를 보여주는 것(few-shot) 도 핵심입니다. 정답이 달린 예시 몇 개를 넣어 주면 모델이 따라 합니다. 저자원 환경에서 독일어 의사 소견서의 구획을 분류한 한 임상 정보 추출 연구에선, 예시 20개만으로 프롬프트한 경량 도메인 적응 모델이 전통적 분류 모델보다 정확도가 30.5% 높았습니다(논문 표기) (arXiv:2403.13369). 다만 — 곧 다룰 미묘함의 출발점인데 — 예시를 어떻게, 어떤 순서로 넣느냐에 따라 결과가 출렁입니다.
추론을 좋게 만드는 노력은 프롬프트 너머로도 이어집니다. 추론 단계마다 점수를 매겨 보상하거나(arXiv:2312.08935), 단계 단위로 선호도를 학습시키는 방법(arXiv:2406.18629)으로 수학 정확도를 끌어올린 연구들이 있습니다. 긴 사고연쇄(Long CoT) 서베이는 깊은 추론·탐색·반성이 복잡한 문제의 열쇠라면서도, '과도한 생각(overthinking)' 논쟁이 여전하다고 짚습니다 ().
신화 점검 차례입니다. 가장 정직하게 받아들여야 할 사실은 프롬프트가 사소한 변화에도 성능이 크게 출렁인다는 것입니다.
의미는 같은데 형식만 살짝 바꾼 프롬프트 — 콜론을 쓰느냐, 줄바꿈을 어디 두느냐 정도 — 만으로도 성능이 달라집니다. 한 논문은 의미를 보존한 형식 변화만으로 LLaMA-2-13B에서 정확도가 최대 76점까지 벌어졌고, 이 민감성은 모델을 키우거나 예시를 더 넣거나 인스트럭션 튜닝을 해도 사라지지 않았다고 보고합니다. 같은 논문은 "단 하나의 형식으로 잰 성능만 보고하는 관행"에 의문을 던집니다 (arXiv:2310.11324).
예시의 순서도 마찬가지입니다. 똑같은 예시를 순서만 바꿔도 성능이 '거의 무작위'에서 '거의 최고 수준'까지 출렁일 수 있다는 연구가 있고 (arXiv:2402.11447), 자기회귀(causal) 모델이 이 순서 민감성에 특히 취약하다는 분석도 있습니다 (arXiv:2402.15637). "좋은 예시를 골랐다"로 끝이 아니라, 어떻게 배열하느냐까지 결과를 흔드는 것이죠. 다만 이 연구들은 문제를 지적하는 데서 멈추지 않았습니다. 여러 형식을 자동으로 훑어 기대 성능 구간을 보고하는 도구, 예시 정렬 원리, 순서 민감성을 줄이는 비지도 미세조정이 각각 제안돼 효과가 보고됐습니다 (arXiv:2310.11324, arXiv:2402.11447, arXiv:2402.15637).
그래서 연구 흐름은 "마법의 한 줄"에서 견고함(robustness) 으로 옮겨갑니다. 한 서베이는 "AI가 사람처럼 생각할 것"이라는 의인화된 가정에 기댄 설계의 한계를 지적하며, 50편의 대표 연구를 검토해 사람의 논리적 사고 흐름을 따라가게 하는 목표지향적 프롬프트 구성이 성능을 유의하게 개선한다고 보고합니다 (arXiv:2401.14043). 다른 연구자들은 프롬프트 개발이 여전히 임기응변식 시행착오에 머물러 있다는 점을 '프롬프트웨어 위기'라 부르며, 소프트웨어 공학의 원칙을 끌어와야 한다고 주장합니다 (arXiv:2503.02400).
"제발 부탁해", "이건 내 커리어가 달린 일이야" 같은 표현을 붙이면 AI가 더 잘한다는 이야기, 들어보셨을 겁니다. 이건 EmotionPrompt 이라는 이름으로 실제 연구됐습니다. 초기 논문은 45개 과제 자동 평가에서 감정 자극이 성능을 끌어올렸고(지시 유도 8%, BIG-Bench 115% 상대 개선), 106명이 참여한 사람 평가에서도 생성 과제의 성능·진실성·책임성 지표가 평균 10.9% 올랐다고 보고했습니다 (arXiv:2307.11760). 후속 연구는 감정 자극이 성능을 높이기도(EmotionPrompt) 깎기도(EmotionAttack) 한다는 양면을 보여줬습니다 (arXiv:2312.11111).
더 최근 연구는 중요한 부작용을 짚습니다. 긍정적 감정 자극이 정확도를 높이고 독성을 줄이는 경향은 있지만, 동시에 아첨(sycophancy)을 늘린다는 것입니다 (arXiv:2604.07369). 감정 트릭은 공짜가 아닙니다. AI가 더 친절해 보이는 대신 당신 말에 더 맹목적으로 동조할 수 있습니다. 감정 자극과 구조적 프롬프트를 결합하려는 시도도 있지만 (arXiv:2404.10500), 전반적으로 이 영역의 효과는 과제·모델에 따라 엇갈린다고 보는 게 정직합니다.
같은 기법도 모델마다 통할 수도, 안 통할 수도 있습니다. 한 통제 실험은 다중 예시(multi-shot) 프롬프트가 Claude Haiku에선 의미 있게 일치도를 높였지만 DeepSeek-Chat이나 Gemini 2.5 Flash에선 그렇지 않았고, 모델별 안정성도 제각각이었다고 보고합니다 (arXiv:2605.07422). 설문 응답 코딩 연구에서도 LLM 간 성능 차가 컸고, 프롬프트 방식의 효과는 어떤 모델을 쓰느냐에 좌우됐습니다. 이 연구에서는 프롬프팅만으로 만족스러운 예측 성능에 도달한 모델이 없었고, 미세조정한 모델만이 그 수준에 이르렀습니다 (arXiv:2506.14634).
과제 성격도 중요합니다. 도덕 추론에선 수학과 달리 제로샷 사고연쇄가 오히려 정확도를 약 4% 떨어뜨렸다는 보고가 있습니다. 다만 같은 연구는 그 과제에 맞게 설계한 반사실 프롬프트 틀로 정확도를 다른 제로샷 기준선 대비 9~16% 끌어올렸고, 예시 다섯 개를 더하자 80%까지 올렸습니다 (arXiv:2306.14308). 만능인 한 줄이 없다는 것이지, 프롬프트 설계가 안 듣는다는 뜻은 아닙니다. 반면 안전한 코드 생성에선 보안에 초점을 맞춘 프롬프트 접두사가 일부 GPT 모델에서 취약점을 최대 56% 줄였으며, 시험한 모든 모델이 반복 프롬프팅으로 이전에 생성한 코드의 취약점 41.9~68.7%를 찾아 고칠 수 있었고 (arXiv:2502.06039), 다국어 환경에선 어디서 번역하느냐 같은 전략이 성능을 크게 좌우했습니다 (arXiv:2507.22923).
끝으로, 겉이 그럴듯한 답이 속까지 그런 건 아닙니다. 한 평가 연구는 모델이 요청의 '겉모양'은 잘 재현하면서 사용자의 '구체적 의도'는 놓치는 경우가 많고, 특히 영어 출력에서 더 두드러진다는 걸 보여줍니다 (arXiv:2605.14517). 보기 좋은 답에 속지 말라는 경고입니다.
"프롬프트 엔지니어링은 죽었다 vs 여전히 중요하다" — 양쪽 다 일리가 있습니다. 사고연쇄·예시 제시·자기일관성처럼 벤치마크로 반복 검증된 기법은 실제로 듣습니다. 동시에 형식·순서·표현 같은 사소한 변화에 성능이 출렁이는 만큼, "이 한 줄이면 끝"이라는 약속은 대체로 과장입니다. 진짜 실력은 마법의 주문이 아니라 견고하게 묻고 결과를 의심하는 습관에서 나옵니다.
실용적으로 가져갈 것 세 가지. 복잡한 문제엔 단계별로 풀게 하고, 가능하면 예시를 보여주고, 중요한 답은 여러 번 물어 일관성을 확인하세요. 감정 트릭은 효과가 엇갈리고 아첨을 부를 수 있으니 의존하지 마시고요. 잘 묻는 만큼, 답을 잘 의심하는 것도 실력입니다.
면책: AI는 빠르게 바뀌는 분야입니다. 같은 기법도 모델마다 다르게 작동하고, 여기 인용한 상당수는 동료심사 전 프리프린트라 결과가 바뀔 수 있습니다. 절대적 처방이 아니라 현재까지의 근거로 읽어 주세요.