AI로 글을 쓰면 누가 가장 득을 볼까? — 453명·5,179명·758명 실험이 보여 준 승자와, 내 수준에 맞는 사용법

"신제품 출시 보도자료 초안을 써 주세요. 분량은 A4 한 장."

이 한 줄을 입력창에 넣고 30초를 기다리면 그럴듯한 글이 나옵니다. 그 글을 받아 든 사람은 두 부류로 갈립니다. 평소 글쓰기가 괴로웠던 사람은 "이 정도면 됐다"고 안도합니다. 글로 먹고살던 사람은 "내가 쓰면 이것보다 낫다"고 고개를 젓습니다. 그러면 질문이 생깁니다. 이 도구는 둘 중 누구에게 더 큰 이득일까요.

흔한 답은 "원래 잘하는 사람이 더 잘 쓴다"입니다. 도구는 다루는 사람의 실력을 증폭한다는 오래된 통념입니다. 그런데 2023년 이후 나온 실험 자료는 반대 방향을 가리킵니다. 미리 말씀드리면 — 가장 크게 득을 보는 쪽은 원래 서툴던 사람이고, 잘하던 사람은 시간만 벌 뿐 품질은 그대로이며, AI가 모르는 영역에 들어서면 둘 다 손해를 봅니다. 이 글은 그 세 문장을 뒷받침하는 세 연구를 원문으로 따라가고, 마지막에 내 수준에서 어떻게 써야 하는지로 끝맺겠습니다.

전문직 453명에게 보도자료를 쓰게 했다

미국 매사추세츠공과대학(MIT)의 경제학자 샤케드 노이와 휘트니 장은 2023년 7월 학술지 사이언스에 실험 하나를 발표했습니다. 대학 교육을 받은 전문직 453명을 온라인으로 모집해, 각자의 직업에 맞는 글쓰기 과제를 두 번 시켰습니다. 참가자의 직업은 마케터, 보조금 신청서 작성자, 컨설턴트, 데이터 분석가, 인사 담당자, 관리자였고, 과제는 보도자료, 짧은 보고서, 분석 계획서, 조심스럽게 써야 하는 이메일 같은 20~30분짜리 업무였습니다. 잘 쓰면 보너스를 더 받는 조건이었고, 같은 직종에서 일하는 전문가들이 누가 썼는지 모른 채 7점 만점으로 채점했습니다^[1][2].

설계의 핵심은 두 번째 과제 앞에 있습니다. 참가자의 절반은 무작위로 뽑혀 첫 과제를 마친 뒤 챗GPT(ChatGPT)에 가입하고 사용법을 안내받았으며, 두 번째 과제에서 쓰고 싶으면 써도 된다는 말을 들었습니다. 나머지 절반은 챗GPT와 무관한 문서 편집 도구에 가입했습니다. 이렇게 하면 첫 과제 점수로 각자의 원래 실력을 재고, 두 번째 과제에서 챗GPT가 무엇을 바꿨는지 볼 수 있습니다^[2].

결과는 두 숫자로 요약됩니다. 챗GPT를 쓰지 않은 집단은 두 번째 과제에 평균 27분을 썼고, 쓴 집단은 17분을 썼습니다. 10분이 줄었으니 27분의 약 37%입니다. 점수는 7점 만점에 3.79점에서 4.54점으로 올랐습니다. 0.75점 차이입니다. 사이언스 게재본의 초록은 최종 표본 기준으로 시간이 40% 줄고 품질이 18% 올랐다고 적습니다^[1]. 시간이 빨라지면 품질이 떨어지는 게 보통인데, 둘이 같은 방향으로 움직였습니다.

격차가 절반으로 줄었다

이 글의 질문에 답하는 부분은 평균이 아니라 분포입니다. 연구진은 첫 과제 점수와 두 번째 과제 점수의 관계를 두 집단에서 따로 보았습니다. 챗GPT를 쓰지 않은 집단에서는 첫 과제를 잘 쓴 사람이 두 번째도 잘 썼습니다. 두 점수 사이의 상관계수는 0.49였습니다. 실력이 꾸준히 드러난다는 뜻입니다. 그런데 챗GPT를 쓴 집단에서는 이 상관계수가 0.25로 떨어졌습니다. 첫 과제를 못 쓴 사람과 잘 쓴 사람의 두 번째 과제 점수 차이가 절반 가까이 사라진 겁니다^[2].

누가 그 차이를 메웠는지도 분명합니다. 첫 과제에서 점수가 낮았던 사람은 챗GPT를 쓰자 점수가 오르고 시간도 줄었습니다. 첫 과제에서 점수가 높았던 사람은 점수가 그대로였고, 시간만 크게 줄었습니다^[2]. 사이언스 편집자 요약은 이 대목을 "실력이 약한 참가자가 가장 큰 혜택을 받았다"는 한 문장으로 적었습니다^[1].

그런데 68%는 손대지 않고 냈다

여기까지만 읽으면 좋은 소식입니다. 불편한 대목은 그다음에 나옵니다. 연구진은 챗GPT가 사람의 능력을 보완했는지, 아니면 사람의 노력을 대신했는지 구분하려 했습니다. 보완이라면 두 가지가 보여야 합니다. 참가자가 챗GPT의 답을 받아 시간을 들여 고치는 모습, 그리고 그렇게 고친 글이 챗GPT가 처음 내놓은 글보다 좋은 점수를 받는 모습입니다. 둘 다 보이지 않았습니다^[2].

챗GPT를 쓴 참가자의 68%는 처음 나온 답을 고치지 않고 그대로 제출했다고 답했습니다. 화면 기록을 보면 긴 글을 붙여 넣은 뒤 평균 3분만 더 작업하고 끝냈습니다. 더 오래 다듬은 사람이 더 높은 점수를 받은 것도 아니었습니다. 연구진이 챗GPT의 원래 답변을 따로 채점자에게 보냈더니, 참가자들이 제출한 글이 그보다 낫지도 않았습니다. 높은 점수에 보너스를 더 주는 조건에서도 마찬가지였습니다^[2].

작업의 모양도 바뀌었습니다. 챗GPT 없이 쓸 때는 시간의 약 25%를 구상에, 50%를 초고 쓰기에, 25%를 다듬기에 썼습니다. 챗GPT를 쓰자 초고 쓰기의 비중은 절반 아래로 떨어지고 다듬기의 비중은 두 배 넘게 늘었습니다^[2]. 다만 그 '다듬기'가 글을 더 좋게 만들었다는 증거는 위에서 본 대로 없습니다.

그래서 "서툰 사람이 가장 득을 본다"는 문장은 한 번 더 읽어야 합니다. 그 사람의 글이 좋아진 것은 맞습니다. 그 사람이 글을 잘 쓰게 된 것은 아닙니다. 연구진의 표현을 빌리면 챗GPT는 "노동자의 기술을 보완하기보다 노동자의 노력을 대체"했습니다^[2]. 격차가 줄어든 이유는 모두의 결과물이 비슷한 출처에서 나왔기 때문입니다.

실험 2주 뒤 설문도 단서를 줍니다. 챗GPT를 써 본 집단의 33%가 지난 한 주 실제 업무에 챗GPT를 썼다고 답했고, 안 써 본 집단은 18%였습니다. 쓰지 않는다고 답한 사람들이 든 이유는 대체로 하나였습니다. 내 글은 우리 고객과 우리 제품에 맞춰져 있고 실시간 정보가 들어가는데, 챗GPT는 그 맥락을 모른다는 것입니다. 연구진도 실험 과제가 짧고 맥락이 거의 필요 없는 과제였다는 점을 한계로 적었습니다^[2]. 게재본에 따르면 두 달 뒤에도 써 본 집단이 실제 업무에서 쓸 가능성이 1.6배 높았습니다^[1].

상담원 5,179명: 신참은 34% 늘고, 최고참은 품질이 조금 내려갔다

글쓰기 실험은 20분짜리 과제였습니다. 진짜 일터에서는 어떨까요. 스탠퍼드대와 MIT의 경제학자 에릭 브리뇰프슨, 대니엘 리, 린지 레이먼드는 미국 포천 500대 소프트웨어 회사의 채팅 상담원 5,179명이 처리한 약 300만 건의 상담 기록을 분석했습니다. 상담원 대부분은 필리핀 사무실에서 미국 소기업 고객의 기술 문의를 받았고, 한 건에 평균 40분이 걸리는 일이었습니다. 이 회사는 상담원 화면에 답변 문구를 실시간으로 제안하는 생성형 AI 도구를 팀별로 시차를 두고 도입했는데, 그 시차 덕에 도입 전후를 비교할 수 있었습니다. 제안을 따를지는 상담원 마음이었고, 실제로 따른 비율은 평균 35%였습니다^[3].

평균 효과는 시간당 해결 건수 14% 증가였습니다. 도입 전 상담원은 한 시간에 평균 2.6건을 해결했는데 0.37건이 늘었고, 0.37을 2.6으로 나누면 약 14%입니다. 그런데 이 평균 뒤의 분포가 글쓰기 실험과 똑같은 모양이었습니다. 도입 전 성과가 가장 낮았던 다섯 등급 중 맨 아래 상담원은 해결 건수가 34% 늘었습니다. 근무 1개월 미만 신참은 46% 늘었습니다. 반면 가장 성과가 높았던 상담원과 근무 1년 넘은 고참은 해결 건수가 늘지 않았습니다^[3].

여기서 한 걸음 더 나아갑니다. 최상위 상담원은 생산성이 그대로인 데서 그치지 않고, 문제 해결률과 고객 만족도가 작지만 통계적으로 유의하게 내려갔습니다. 연구진의 해석은 이렇습니다. 이 AI는 회사 안에서 잘하는 상담원들의 응대 방식을 학습해 제안하는 도구입니다. 그러니 서툰 상담원에게는 새로운 답이지만, 최고 상담원에게는 자기 방식을 되돌려주는 것에 불과합니다. 오히려 제안이 주의를 흩뜨리거나, 스스로 답을 궁리하는 대신 빠른 쪽인 제안 따르기를 고르게 만들었을 수 있습니다^[3].

속도의 차이도 확인됐습니다. AI 없이 일한 상담원은 입사 때 시간당 약 2.0건에서 시작해 8~10개월이 지나야 약 2.5건에 이르렀습니다. 입사 때부터 AI를 쓴 상담원은 2개월 만에 2.5건에 닿았습니다. 입사 2개월 차에 AI를 쓴 상담원이 AI 없이 6개월 넘게 일한 상담원만큼 일했다는 뜻입니다. 근무 6개월 미만 신참의 이직률도 25%에서 약 10%포인트 낮아졌습니다^[3]. 다만 연구진은 이 연구가 임금이나 전체 고용에 어떤 영향을 미치는지는 말해 주지 못한다고 못 박았습니다. 신참의 생산성이 오르면 회사는 신참을 더 뽑을 수도, 자리를 더 단순한 일로 바꿀 수도 있기 때문입니다^[3].

컨설턴트 758명: 경계 밖에서는 모두가 틀렸다

그렇다면 잘하는 사람은 아예 안 쓰면 그만일까요. 세 번째 연구가 그 답을 복잡하게 만듭니다. 하버드 경영대학원의 파브리치오 델라쿠아와 와튼스쿨의 이선 몰릭 등 연구진은 세계적 경영 컨설팅 회사 보스턴컨설팅그룹(BCG)의 컨설턴트 758명을 실험에 참여시켰습니다. 이 회사 실무 컨설턴트의 약 7%에 해당하는 인원으로, 지원자의 1% 안팎만 뽑히는 곳의 사람들입니다. 참가자는 무작위로 세 조건에 배정됐습니다. AI 없이, GPT-4 사용, GPT-4에 더해 프롬프트 작성 요령 안내까지 받기^[4].

과제는 두 종류였습니다. 385명은 새 신발 제품을 구상하고 시장을 나누고 설득하는 글을 쓰는 18개의 과제를 풀었습니다. 창의력, 분석, 글쓰기가 섞인 일이지만 AI가 잘하는 범위 안의 일입니다. 결과는 세 실험을 통틀어 가장 극적입니다. AI를 쓴 컨설턴트는 과제를 12.2% 더 많이 끝냈고, 25.1% 더 빨리 끝냈으며, 사람 채점자가 매긴 품질 점수가 평균 32% 높았습니다. 여기서도 처음 평가 과제에서 하위 절반이었던 사람이 더 많이 올랐지만, 상위 절반도 의미 있게 올랐습니다^[4].

나머지 373명은 다른 과제를 받았습니다. 한 회사의 매출 자료 표와 회사 내부자 인터뷰 기록을 읽고, 어느 브랜드를 키워야 하는지 대표에게 권고하는 일입니다. 연구진은 이 과제를 일부러 AI가 틀리도록 설계했습니다. 표만 보면 그럴듯한 답이 나오지만, 인터뷰 기록 속 작은 단서를 읽어야 정답이 나오게 만든 것입니다. AI 없이 푼 컨설턴트는 84.5%가 정답을 냈습니다. GPT-4를 쓴 집단은 70.6%, 프롬프트 요령까지 배운 집단은 60%였습니다. 두 AI 집단을 합친 평균은 약 65%이니, AI 없는 집단보다 19%포인트 낮습니다^[4].

가장 불편한 숫자는 60%입니다. 도구를 더 잘 쓰도록 배운 사람들이 가장 많이 틀렸습니다. 연구진은 이 현상을 "운전대를 잡은 채 잠드는 것"에 비유했습니다. 어떤 과제가 AI 능력의 안쪽인지 바깥쪽인지는 겉보기 난이도로 알 수 없고, 그 경계는 들쭉날쭉해서, 사람은 자기가 어느 쪽에 서 있는지 모른 채 AI에 기대게 된다는 것입니다. 이 실험의 참가자들은 AI 결과를 쓰지 않아도 과제를 풀 수 있는 사람들이었는데도 그랬습니다^[4]. 연구진 스스로 밝힌 한계도 있습니다. 경계 밖 과제는 단 하나였고, 품질 채점은 사람의 주관이 들어가는 평가였습니다^[4].

세 연구를 포개면 그림이 하나 나옵니다. AI가 잘 아는 영역에서는 서툰 사람이 가장 많이 얻고 잘하는 사람도 조금 얻습니다. AI가 평균을 배운 영역에서는 서툰 사람이 얻고 최고 수준의 사람은 조금 잃습니다. AI가 모르는 영역에서는 숙련도와 무관하게 모두가 잃고, 도구를 믿을수록 더 잃습니다.

내 수준에서 어떻게 쓸까

세 연구는 각자 다른 사람에게 다른 말을 합니다. 하나씩 옮겨 보겠습니다.

글쓰기가 서툴다고 느끼는 분이라면, 글쓰기 실험의 결과는 그대로 좋은 소식입니다. 보도자료, 안내문, 조심스러운 이메일처럼 형식이 정해진 글은 챗GPT 초안만으로도 평가자가 보기에 평균 가까운 글이 됩니다. 다만 68%처럼 그대로 내기 전에 한 가지는 꼭 하시길 권합니다. 실험 뒤 설문에서 사람들이 챗GPT를 안 쓰게 된 이유가 "우리 고객, 우리 제품, 지금 상황을 모른다"는 것이었습니다^[2]. 그 맥락은 AI가 아니라 당신 머릿속에 있습니다. 초안을 받기 전에 상대가 누구이고 무엇을 알고 있으며 무엇이 지금 달라졌는지를 먼저 적어 넣는 것이 당신이 보태는 가장 큰 가치입니다. 그리고 상담원 연구는 AI 제안을 더 자주 따른 사람이 AI가 꺼진 기간에도 더 잘했다는 결과를 보고했습니다^[3]. 제안을 그냥 베끼지 말고 왜 그렇게 썼는지 한 번씩 읽어 두면 도구 없이도 남는 것이 생길 수 있다는 뜻입니다. 글쓰기 실험에서는 이것을 확인하지 못했으니, 가능성으로 받아 두시면 됩니다.

이미 글을 잘 쓰는 분이라면, 실험이 돌려준 것은 품질이 아니라 시간입니다. 점수는 그대로였고 시간만 줄었습니다. 그러니 가장 안전한 쓰임새는 시간이 가장 많이 들던 부분, 곧 초고입니다. 실험에서 줄어든 것도 초고 쓰기 비중이었습니다. 대신 상담원 연구의 최상위 상담원을 기억하셔야 합니다. 제안을 따르는 쪽이 빠르다는 이유로 자기 판단을 접었을 때 품질이 내려갔습니다. 당신의 기준이 AI의 평균보다 높다면, AI 문장을 받아들일지는 매번 당신이 결정해야 하고, 그 결정을 건너뛰는 순간 당신 글은 평균 쪽으로 내려옵니다.

그리고 수준과 상관없이 모두에게 해당하는 것이 컨설턴트 연구입니다. 정답이 표가 아니라 인터뷰 기록에 있었듯, 답을 가르는 정보가 AI가 보지 못한 곳에 있다면 그 과제는 경계 밖입니다. 글을 쓰기 전에 한 가지만 물어보시면 됩니다. 이 글을 맞게 쓰려면 꼭 알아야 하는 사실 가운데, 내가 AI에게 주지 않은 것이 있는가. 있다면 AI의 답은 그럴듯할수록 위험합니다. 프롬프트를 잘 쓰는 법을 배운 집단이 더 많이 틀렸다는 결과는, 도구를 다루는 요령이 그 질문을 대신해 주지 않는다는 것을 보여 줍니다.

정리하자면 이렇습니다. 전문직 453명의 글쓰기 실험에서 챗GPT는 시간을 40% 줄이고 품질을 18% 올렸으며, 원래 못 쓰던 사람이 가장 많이 올라와 격차가 절반으로 줄었습니다. 그러나 68%는 답을 고치지 않고 냈고, 사람이 다듬어서 더 나아진 증거는 없었습니다. 상담원 5,179명의 현장 자료에서도 신참은 34% 늘었지만 최고참은 품질이 조금 내려갔습니다. 컨설턴트 758명의 실험에서는 AI가 잘하는 과제에서 모두가 올랐고, AI가 모르는 과제에서는 모두가 내려갔으며, 도구를 더 배운 집단이 가장 많이 틀렸습니다.

그래서 "누가 가장 득을 볼까"의 답은 "서툰 사람"이 맞되, 조건이 하나 붙습니다. AI가 아는 영역에서, 결과물에 한해서. 그 바깥에서 득을 보는 사람은 아직 아무도 없습니다.

이 글은 공개된 학술 연구를 일반 독자에게 소개하기 위한 것입니다. 인용한 수치는 각 논문의 본문과 초록에서 확인한 값이며, 글쓰기 실험의 집단 평균(27분·17분, 3.79점·4.54점)은 2023년 3월 워킹페이퍼의 그림에서, 40%·18%는 사이언스 게재본 초록에서 가져왔습니다. 두 판본은 표본 수(444명·453명)가 조금 다릅니다. 연구가 다룬 모델과 과제는 2023년 기준이므로, 지금의 도구에 그대로 옮길 때는 주의가 필요합니다.