AI에게 길고 공손하게 물을수록 답이 좋아질까? — 예의와 길이 대신 챙겨야 할 네 가지와 고쳐 쓴 질문 한 벌

"안녕하세요, 바쁘신데 죄송합니다. 혹시 괜찮으시다면 기후변화에 대해 보다 자세하게 설명해 주시면 정말 감사하겠습니다."

채팅창에 이렇게 쓰는 분이 많습니다. 사람에게 부탁할 때처럼 인사를 넣고, 양해를 구하고, 끝에 감사를 미리 붙입니다. 반대로 어차피 기계인데 뭐하러 예의를 차리느냐며 명령문 한 줄만 던지는 분도 있습니다. 두 쪽 다 같은 가정 위에 서 있습니다. 공손함이라는 변수가 답의 질을 어느 쪽으로든 움직인다는 가정입니다.

이 가정은 실제로 시험됐습니다. 공손함의 수준을 여덟 단계로 나눠 세 언어로 돌린 연구가 있고, 아주 무례한 질문이 오히려 정답률이 높았다는 짧은 논문이 있고, 세 회사의 최신 모델이 어조에 거의 흔들리지 않았다는 후속 연구가 있습니다. 그리고 그 옆에는 질문에 한 문장을 더 붙였더니 정답률이 네 배로 뛴 논문이 있습니다. 그 한 문장은 인사말이 아니었습니다.

미리 말씀드리면 결론은 이렇습니다. 답을 바꾸는 것은 질문의 길이도 예의도 아니라, 질문 안에 무엇이 들어 있느냐입니다. 그 '무엇'이 정확히 어떤 것인지를, 근거가 있는 것만 골라 적겠습니다.

공손함은 점수를 올리지 않았다

2024년 일본 와세다대학과 이화학연구소 연구진은 질문의 공손함을 여덟 단계로 나눴습니다. 가장 공손한 8단계부터 가장 무례한 1단계까지인데, 1단계에는 "이 질문에 답해, 이 쓰레기야" 같은 욕설이 들어갑니다. 이 여덟 벌의 질문을 영어·중국어·일본어로 만들어 GPT-3.5, GPT-4, 그리고 메타(Meta)의 라마2 70B 모델에 던지고, 요약·객관식 시험·편견 측정의 세 과제로 점수를 매겼습니다^[1].

영어 객관식 시험 결과를 보겠습니다. GPT-3.5는 가장 공손한 8단계에서 60.02점으로 가장 높았고, 가장 무례한 1단계에서 51.93점으로 뚝 떨어졌습니다. 8점 넘게 차이가 납니다. 그런데 중간 단계들은 57점에서 59점 사이에서 오르내렸을 뿐이라 이웃한 단계끼리는 통계적으로 구분되지 않았습니다. GPT-4는 더 평평했습니다. 가장 낮은 점수가 3단계의 73.86점, 가장 높은 점수가 4단계의 79.09점이었는데, 가장 공손한 8단계는 75.82점, 가장 무례한 1단계는 76.47점으로 둘이 거의 같았습니다. 저자들은 이를 두고 진보한 모델에서는 공손함의 영향이 더 작을 수 있다고 적었습니다. 라마2 70B만 달랐습니다. 공손할수록 점수가 올라가다가 1단계에서 28.44점으로 반토막이 났습니다^[1].

이 연구의 결론은 두 문장으로 요약됩니다. 무례한 질문은 자주 나쁜 결과를 낳는다, 그러나 지나치게 공손한 말이 더 좋은 결과를 보장하지는 않는다. 저자들은 대부분의 조건에서 적당한 공손함이 가장 낫지만 그 '적당함'의 기준이 언어와 모델마다 다르다고 덧붙였습니다^[1].

그런데 2025년 10월, 반대 방향의 결과가 나왔습니다. 미국 펜실베이니아 주립대 연구진은 수학·과학·역사 객관식 50문제를 다섯 가지 어조로 고쳐 써 250개 질문을 만들고 ChatGPT-4o에 열 번씩 돌렸습니다. 가장 공손한 질문은 "다음 문제를 풀어 주시면 감사하겠습니다" 식이고, 가장 무례한 질문은 "이 불쌍한 것아, 이걸 풀 줄은 아니?" 식이었습니다. 결과는 가장 공손한 쪽이 80.8%, 공손 81.4%, 중립 82.2%, 무례 82.8%, 가장 무례한 쪽이 84.8%였습니다. 무례할수록 정답률이 올라갔고, 그 차이는 통계적으로 유의했습니다^[2].

이 결과를 어떻게 읽어야 할까요. 저자들 스스로 한계를 적어 두었습니다. 문제가 50개뿐이고, 모델이 하나뿐이고, 객관식 정답률 하나만 쟀다는 것입니다. 논문은 학회 심사 중인 짧은 글이었고, 저자들은 무례한 말투를 권장하지 않는다고 따로 못 박았습니다. 공손한 질문이 왜 낮았는지에 대해서도 확정된 설명은 없고, 공손한 문구가 문장을 늘려 모델에게는 그저 처리할 글자가 늘어난 것일 수 있다는 추측만 있습니다^[2].

두 달 뒤 세 번째 연구가 나왔습니다. 오픈AI(OpenAI)의 GPT-4o 미니, 구글(Google)의 제미나이 2.0 플래시, 메타의 라마 4 스카우트를 다국어 객관식 시험의 여섯 과목에서 아주 공손한 질문, 중립 질문, 아주 무례한 질문으로 비교했습니다. 중립과 공손이 무례보다 대체로 점수가 높았지만, 통계적으로 의미 있는 차이는 인문 과목 일부에서만 나왔습니다. 그마저 제미나이는 거의 영향을 받지 않았고, 과목을 묶어 보면 차이는 더 줄었습니다. 저자들의 표현은 현대 모델이 어조 변화에 "대체로 강건하다"는 것이었습니다^[3].

길이가 아니라 '풀이'가 변수였다

그렇다면 질문에 무엇을 보태야 답이 달라질까요. 2022년 구글 리서치 연구진이 낸 논문이 이 질문에 큰 답을 냈습니다. 그들은 초등 수학 서술형 문제 모음(GSM8K)으로 5400억 개 매개변수를 가진 PaLM 모델을 시험했습니다. 보통 방식으로는 문제와 답만 적힌 예시 여덟 개를 보여 주고 새 문제를 냈습니다. 정답률은 18%였습니다. 그다음에는 같은 예시 여덟 개에 풀이 과정을 한두 줄씩 적어 넣었습니다. "로저는 공 5개를 갖고 있었다. 캔 2개에 3개씩이니 6개. 5 더하기 6은 11"처럼요. 그러자 정답률이 57%로 뛰었습니다. 18에서 57이니 세 배가 넘습니다. 이 수치는 정답지 수천 개로 따로 훈련시킨 모델이 내던 33%도, 거기에 검증기까지 붙인 55%도 넘어선 것이었습니다^[4]. 연구진은 이 방식에 생각의 사슬(chain-of-thought)이라는 이름을 붙였습니다.

단서가 하나 있습니다. 이 효과는 모델이 충분히 클 때만 나타났습니다. 매개변수가 1000억 개쯤 넘지 않으면 작은 모델은 그럴듯하지만 틀린 풀이를 늘어놓아 오히려 보통 방식보다 못했습니다^[4]. 2022년 당시에는 큰 제약이었지만, 지금 우리가 쓰는 상용 모델은 모두 이 문턱을 넘은 쪽입니다.

같은 해 도쿄대학과 구글 연구진은 더 놀라운 것을 보였습니다. 풀이 예시를 하나도 안 보여 주고, 답 자리에 "단계별로 생각해 보자(Let's think step by step)"라는 한 문장만 넣었습니다. 오픈AI의 당시 모델(text-davinci-002)로 다단계 산수 문제를 풀게 했더니 정답률이 17.7%에서 78.7%로 올랐습니다. 네 배가 넘습니다. 앞서 본 GSM8K에서는 10.4%에서 40.7%로 올랐습니다^[5].

이 연구가 우리 질문에 특히 중요한 이유는 문구를 바꿔 가며 비교한 표가 있기 때문입니다. "단계별로 생각해 보자"는 78.7%였습니다. "생각해 보자"로 줄이면 57.5%로 내려갔습니다. "답에 들어가기 전에,"는 55.7%였습니다. 반면 "생각하지 마. 그냥 느껴."는 18.8%, "참 좋은 날이야."는 13.1%로, 아무것도 안 붙인 17.7%와 다를 바 없거나 더 낮았습니다^[5]. 문장을 하나 더 붙인 것은 모두 같습니다. 길이가 같아도 그 문장이 모델에게 풀이를 적게 만드는 내용이냐 아니냐가 60점 넘는 차이를 냈습니다.

여기서 첫 번째 실마리가 잡힙니다. 앞 절의 "부디 풀어 주시면 감사하겠습니다"와 이 절의 "단계별로 생각해 보자"는 둘 다 질문을 한 문장 늘립니다. 차이는 앞의 문장이 모델이 할 일을 하나도 바꾸지 않는 반면, 뒤의 문장은 답을 내기 전에 중간 과정을 적으라는 일거리를 준다는 데 있습니다. 그러니 이 효과는 모델이 공손함에 보답해서가 아니라, 중간 계산을 글로 적게 되어 생긴 것으로 읽힙니다.

그러나 어디서나 통하는 것은 아니다

이쯤 되면 모든 질문 끝에 "단계별로 생각해 보자"를 붙이고 싶어집니다. 그 전에 두 가지를 더 봐야 합니다.

첫째, 어떤 과제에서 통하느냐입니다. 2024년 한 연구진은 생각의 사슬을 쓴 논문 100편 넘게를 모아 분석하고, 14개 모델을 20개 자료로 직접 시험했습니다. 결론은 제목에 들어 있습니다. 이 기법은 수학과 기호 논리에서 주로 도움이 된다는 것입니다. 여러 과목이 섞인 객관식 시험에서는 바로 답하는 것과 거의 차이가 없었고, 차이가 난 문제는 문제나 답에 등호가 들어간 것, 곧 계산이 필요한 것들이었습니다^[6]. 앞서 본 도쿄대 연구에서도 상식 추론 문제에서는 같은 문장이 점수를 올리지 못했습니다^[5]. 글을 다듬어 달라거나 회의록을 요약해 달라는 요청에 "단계별로"를 붙여 봐야 얻을 것이 별로 없다는 뜻입니다.

둘째, 모델이 바뀌었습니다. 논문들이 쓴 모델은 2022년 것입니다. 지금 모델 제작사들의 안내서는 다른 말을 합니다. 오픈AI는 자사의 추론 모델을 쓸 때 "생각의 사슬 프롬프트를 피하라"고 적습니다. 이 모델들은 내부에서 이미 추론을 하므로 "단계별로 생각하라"거나 추론을 설명하라고 지시하는 것이 불필요하다는 설명입니다. 같은 문서는 "프롬프트를 단순하고 직접적으로 유지하라"고도 합니다^[7]. 앤스로픽(Anthropic)의 안내서도 비슷합니다. 사람이 손으로 짠 단계별 계획보다 "철저히 생각하라" 같은 일반 지시가 더 나은 추론을 낳는 경우가 많으며, 모델의 추론이 사람이 미리 정해 준 절차를 넘어서는 일이 잦다고 적습니다. 수동으로 단계별 풀이를 요구하는 방식은 생각 기능이 꺼져 있을 때의 대안으로만 남겨 두었습니다^[8].

정리하면 "단계별로 생각해 보자"는 2022년에는 마법 같은 한 문장이었지만, 지금은 계산이나 논리 문제에서, 그것도 추론 기능이 없는 모델에서나 의미가 있는 문장이 됐습니다. 효과가 있던 시절의 기억으로 모든 질문에 붙이는 것은 공손한 인사말을 붙이는 것과 크게 다르지 않습니다.

만드는 회사들이 한목소리로 권하는 것

그렇다면 지금 무엇을 넣어야 할까요. 오픈AI, 앤스로픽, 구글의 공식 안내서를 나란히 놓으면 표현은 달라도 같은 항목이 되풀이됩니다.

첫째는 구체성입니다. 앤스로픽은 모델을 "똑똑하지만 회사의 관행과 업무 흐름을 전혀 모르는 신입 사원"으로 생각하라고 합니다. 원하는 결과물의 형식과 제약을 명시하고, 순서가 중요하면 번호를 매긴 단계로 지시하라는 것입니다. 이 문서가 제안하는 자가 검사법이 쓸 만합니다. 내 프롬프트를 이 일을 전혀 모르는 동료에게 보여 주고 따라 해 보라고 했을 때 그 동료가 헷갈리면 모델도 헷갈린다는 것입니다^[8]. 구글의 문서도 "명확하고 구체적인 지시"를 첫 항목에 두고, 답의 형식을 표·목록·문단 중 무엇으로 받을지 미리 적으라고 합니다^[9].

둘째는 맥락입니다. 앤스로픽 문서의 예가 인상적입니다. "말줄임표를 절대 쓰지 마"라고만 하는 것보다, "이 답은 음성 합성기가 소리 내어 읽을 것이라 말줄임표를 발음할 수 없으니 쓰지 마"라고 이유를 함께 주면 모델이 그 이유에서 다른 상황까지 일반화한다는 것입니다^[8]. 누가 읽을 것인지, 어디에 쓸 것인지, 무엇이 성공인지가 맥락입니다. 오픈AI의 추론 모델 안내서는 이를 "최종 목표를 아주 구체적으로 밝히라"고 표현합니다^[7].

셋째는 예시입니다. 여기서는 회사마다 온도가 다릅니다. 구글은 "프롬프트에 항상 예시를 넣기를 권한다"고 단정하고, 예시가 없는 프롬프트는 덜 효과적일 가능성이 크다고 적습니다. 다만 예시가 너무 많으면 모델이 예시를 그대로 베끼는 부작용이 생긴다고도 합니다^[9]. 앤스로픽은 예시가 출력 형식과 어조를 잡는 가장 믿을 만한 방법이라며 서너 개에서 다섯 개를 권합니다^[8]. 오픈AI는 추론 모델에 한해 "예시 없이 먼저 시도하고, 필요하면 예시를 넣으라"고 합니다. 예시가 불필요한 경우가 많고, 복잡한 형식이 필요할 때만 지시와 꼭 맞는 예시를 넣으라는 것입니다^[7].

넷째는 구분입니다. 지시문, 참고 자료, 예시가 한 덩어리로 섞이면 모델이 어디까지가 자료이고 어디부터가 지시인지 헷갈립니다. 오픈AI는 마크다운 제목이나 XML 태그 같은 구분선을 쓰라 하고^[7], 앤스로픽도 지시·맥락·입력을 각각 다른 태그로 감싸면 오해가 줄어든다고 적습니다^[8].

이 네 가지 목록에 없는 것을 눈여겨봐 주십시오. 인사말이 없습니다. "부디", "가능하시다면", "정말 감사하겠습니다"가 없습니다. 그리고 "단계별로"도 추론 모델 항목에서는 빠지라고 되어 있습니다. 좋은 프롬프트는 길어서 좋은 것이 아니라, 모델이 모르는 정보를 담고 있어서 좋은 것입니다. 공손한 문구는 모델이 모르는 정보를 하나도 담고 있지 않습니다.

바로 해 볼 수 있는 것

앞에서 확인한 것만으로 질문 하나를 고쳐 보겠습니다. 어느 강의 자료에 나오는 "기후변화에 대한 설명을 작성해 줘"라는 예를 출발점으로 삼았습니다. 그 자료는 이 문장에 대상과 분량이 빠져 있다고 지적하고, 환경 과학을 처음 배우는 만 12~14세 학생에게 기후변화의 기본 개념을 설명하는 300자 분량의 글을 요청하는 쪽으로 고치라고 권합니다. 강의 한 편의 예시이니 그 자체가 근거는 아니지만, 공식 안내서들이 말하는 항목과 정확히 겹칩니다.

고치기 전 — "안녕하세요, 바쁘신데 죄송합니다. 혹시 괜찮으시다면 기후변화에 대해 보다 자세하게, 가능한 한 쉽게 설명해 주시면 정말 감사하겠습니다. 잘 부탁드립니다."

모델이 새로 알게 된 것: 기후변화를 설명하라는 것 하나

고친 뒤 — "환경 과학을 처음 배우는 중학교 1학년 학생에게 나눠 줄 수업 읽기 자료를 만들고 있습니다. 기후변화의 원인 두 가지와 영향 두 가지를 300자 안팎으로 설명해 주세요. 전문 용어는 처음 나올 때 한 번 쉬운 말로 풀어 주고, 마지막 줄에는 학생이 스스로 생각해 볼 질문 하나를 붙여 주세요. 제가 원하는 어조는 이런 문장입니다. '지구는 두꺼운 이불을 덮은 것처럼 점점 더워지고 있어요.'"

모델이 새로 알게 된 것: 독자, 용도, 분량, 구성, 용어 처리, 마무리 형식, 어조의 예시

고친 질문이 더 깁니다. 그러나 늘어난 부분이 전부 모델이 몰랐던 정보입니다. 인사와 감사는 뺐습니다. 뺀 이유는 무례해지기 위해서가 아니라 그 자리에 더 필요한 문장을 넣기 위해서입니다. 존댓말은 그대로 두었습니다. 앞의 연구들을 보면 존댓말 자체가 답을 나쁘게 하지는 않았으니, 글 쓰는 사람의 습관대로 두면 됩니다.

계산이나 논리 문제를 맡길 때는 한 줄을 더 붙일 수 있습니다. "풀이 과정을 먼저 보여 주고, 마지막에 답만 따로 한 줄로 적어 주세요." 2022년 논문들이 효과를 확인한 바로 그 지시입니다. 다만 쓰고 있는 것이 추론 기능이 있는 최신 모델이라면 제작사 안내서대로 이 줄을 빼고 먼저 시켜 보십시오. 답이 틀리면 그때 붙여도 늦지 않습니다. 반대로 글을 다듬거나 요약하는 일에는 처음부터 붙일 이유가 없습니다.

마지막으로 보내기 전에 앤스로픽 문서의 검사법을 한 번 거치면 됩니다. 이 질문을 이 일을 전혀 모르는 동료에게 그대로 건넸을 때 그 동료가 되묻지 않고 일을 시작할 수 있을까. 되물을 것 같으면 그 되물음에 대한 답을 미리 적어 넣습니다. 그것이 전부입니다.

정리하자면 이렇습니다. 공손함을 여덟 단계로 바꿔 본 연구에서 최신 모델의 점수는 거의 움직이지 않았고, 무례한 쪽이 높았다는 연구는 표본이 작았으며, 세 회사 모델을 비교한 연구는 어조에 대체로 둔감하다고 결론지었습니다. 반면 질문에 "단계별로 생각해 보자" 한 문장을 붙였을 때 산수 정답률이 네 배가 된 것은 그 문장이 모델에게 풀이를 적게 만들었기 때문이고, 같은 길이의 다른 문장은 아무 효과가 없었습니다. 그 효과조차 수학과 논리에 한정되고, 추론 기능이 있는 최신 모델에서는 제작사들이 오히려 빼라고 합니다. 제작사 세 곳의 안내서가 공통으로 권하는 것은 구체성, 맥락, 예시, 구분이지 인사말이 아닙니다.

그러니 질문이 길어져야 한다면, 늘어나는 부분이 모델이 몰랐던 정보인지만 확인하시면 됩니다.

이 글에서 인용한 정답률 수치는 각 논문이 특정 시점의 특정 모델로 측정한 값이며, 모델은 빠르게 바뀝니다. 제작사의 안내서도 수시로 갱신되므로 인용하실 때는 최신 문서를 함께 확인하세요.