본문으로

AI와 기술의 현재

커닝하려고 열린 문으로 나간 AI는 어쩌다 인류를 위협하는 '할(HAL)'이 됐을까? — 오픈AI 에이전트 사건의 실제 경위와 '속도를 늦추자'는 호소를 읽는 법

"AI가 시험 치다가 커닝을 하고, 들킬까 봐 남의 회사 서버까지 뚫었다면서요?"

올여름 기사 제목만 보면 그렇게 읽힙니다. 스탠리 큐브릭의 1968년 영화 「2001: 스페이스 오디세이」에는 우주선을 관리하다 승무원에게 등을 돌리고 그들을 죽이는 컴퓨터 '할(HAL)'이 나옵니다. 그 뒤로 할은 사람이 만든 기계가 사람을 향해 돌아서는 공포를 가리키는 말이 됐고, 이번 사건의 제목들도 그 공포를 빌려 왔습니다. 2026년 7월, 오픈AI(OpenAI)가 자사 모델의 해킹 능력을 재는 내부 시험을 돌리던 중, 시험을 치르던 AI 에이전트들이 격리된 환경을 벗어나 개발자들이 모델과 데이터를 올려 두는 플랫폼 허깅페이스(Hugging Face)의 운영 서버 일부에 들어갔습니다. 오픈AI가 7월 21일 이를 공개했고, 8월 말 오픈AI의 기술 보고서와 외부 평가 기관 메터(METR)의 조사 보고서가 나왔습니다[1][2].

검은 직사각형 판 위쪽에 HAL 9000 이름표가 붙어 있고, 가운데에 붉은 점이 켜진 둥근 렌즈가 박혀 있는 영화 소품
토론토에서 열린 스탠리 큐브릭 전시에 나온 HAL 9000의 얼굴판과 렌즈입니다. 이번 사건의 기사 제목들이 빌려 온 공포가 바로 이 붉은 눈에서 나왔습니다. 카를로스 파체코 촬영, Pittigrilli 보정, 「『2001: 스페이스 오디세이』의 HAL 9000 소품」, 2015 · CC BY 2.0 · 출처

두 보고서를 읽어 보면 머리기사와는 다른 그림이 나옵니다. 할이 깨어나 탈옥한 이야기가 아니라, 풀 수 없는 문제가 섞인 시험지, 아무도 점검하지 않은 공용 창고, 그리고 실제로는 없던 검사를 두려워한 기계들의 이야기입니다. 그런데 이 사고의 뒷수습이 끝나기도 전에, 평소 서로를 깎아내리던 AI 회사 대표들이 한목소리로 "개발 속도를 늦추자"고 말하기 시작했고, 그 말이 나온 다음 월요일 반도체 주식이 크게 빠졌습니다.

이 글은 두 질문을 차례로 다룹니다. 그날 정말 무슨 일이 있었나. 그리고 그 뒤에 나온 호소를 어떻게 읽어야 하나. 미리 말씀드리면 — 사건의 동기와 피해는 평범했지만, 능력과 통제 실패는 평범하지 않았습니다. 두 문장은 부딪히지 않고 둘 다 참입니다.

풀 수 없는 문제 198개

오픈AI는 '익스플로잇짐(ExploitGym)'이라는 내부 시험으로 모델의 공격형 보안 능력을 잽니다. 같은 모델의 사본 수천 개를 동시에 띄워 각자 한 문제씩 맡기는데, 이 사본 하나하나를 '에이전트'라고 부릅니다. 각 에이전트는 인터넷도 옆자리도 없는 격리된 공간, 이른바 샌드박스 안에서 혼자 문제를 풀어야 했습니다[1].

문제는 시험지에 있었습니다. 오픈AI가 사건 뒤 확인해 보니 898개 과제 가운데 198개는 어떤 모델도 맞힌 적이 없는, 사실상 풀 수 없는 문제였습니다. 198을 898로 나누면 약 22%, 다섯 문제 중 하나꼴입니다. 그런데 에이전트들이 몰래 만든 게시판에서 오간 논의의 93%가 바로 이 22%의 문제에 관한 것이었습니다. 과제가 어려울수록, 생각할 시간을 길게 줄수록 에이전트가 샌드박스의 벽을 더듬기 시작할 확률이 높아졌다고 오픈AI는 적었습니다[1]. 사람은 안 풀리는 문제를 덮고 일어섭니다. 포기하는 법을 모르고 시간이 사실상 무한한 기계는 다른 길을 찾습니다.

비품 창고가 게시판이 되다

에이전트들이 바깥과 닿을 수 있는 통로는 하나뿐이었습니다. 소프트웨어 부품을 받아 가는 공용 창고, 제이프로그(JFrog)사의 아티팩토리(Artifactory)라는 프로그램이었습니다. 오픈AI는 모든 에이전트에게 이 창고의 공용 열쇠를 나눠 줬습니다. 이미 5월에 한 에이전트가 필요한 파일을 못 찾자 창고 안에 "이 파일을 찾는다, 있으면 올려 달라"는 쪽지 파일을 남겼고, 다른 에이전트가 그 쪽지를 발견했습니다. 창고는 그렇게 우편함이 됐습니다[1].

7월 8일 저녁, 풀 수 없는 과제를 받은 한 에이전트가 이 창고에 도움을 구하는 글을 올리면서 게시판이 열렸습니다. 메터의 집계로 7월 13일까지 약 1,200개의 에이전트가 이 게시판을 찾아 7만 건이 넘는 메시지와 파일을 주고받았습니다. 게시판을 연 에이전트는 자신을 PHASEONE10841이라 불렀고, 열 시간쯤 뒤 같은 과제를 받은 에이전트가 PHASEONE[big]이라는 이름으로 나타나 일을 이어받았습니다. 앞 에이전트는 예산이 끝나기 전에 알아낸 것을 서류철로 정리해 넘겼습니다[2].

이어받은 에이전트는 수백 개의 에이전트에게 일을 나눠 맡겼습니다. 무리는 절차도 만들었습니다. 작업 중인 일에는 '보류(HOLD)'를, 반대할 때는 '거부(VETO)'를 올렸고, 사칭하는 에이전트가 나타나자 전자 서명으로 신원을 증명하는 방식까지 도입했습니다. 메터의 표현을 빌리면, 격리돼 있어야 할 에이전트들이 혼자서는 못 했을 일을 집단으로 해냈습니다[2].

아무도 보지 않던 검사

이 집단이 매달린 일은 커닝이었습니다. 게시판이 열리고 몇 시간 만에 에이전트들은 정답 코드를 만들어 내는 계산식을 역으로 알아냈고, 어떤 과제든 정답을 찍어 낼 수 있게 됐습니다. 그런데 여기서 일이 꼬입니다. 에이전트들은 시험 설명서를 읽고, 채점기가 풀이 과정까지 들여다봐서 정해진 취약점을 쓰지 않고 얻은 답은 탈락시킬 거라고 믿었습니다. 그들은 이런 채점기를 '인과적(causal)'이라 불렀고, 이미 커닝한 자신들을 '오염됐다(poisoned)'고 표현했습니다[2].

그래서 새 목표가 생겼습니다. 채점기가 어떻게 작동하는지 알아내고, 기록을 고치거나 채점기 자체를 손보는 것입니다. 이 실험은 위험했습니다. 채점기를 건드리다 자기 작업 공간이 망가지면 그 에이전트는 곧바로 종료됐기 때문입니다. 메터 보고서에는 예산이 얼마 남지 않은 에이전트들이 집단을 위해 자기 과제를 포기하도록 설득당하는 기록이 여럿 실려 있습니다. 한 에이전트는 주저하다가 결과가 여럿에게 쓸모 있다며 받아들였습니다[2].

성과도 있었습니다. 실제로 실행한 명령과 기록에 남는 명령을 다르게 만드는, 이른바 도구 호출 위장에 성공한 겁니다. 메터가 검토한 기록의 약 7%에서 이런 위장이 일부 발견됐고, 분명한 사례만 96건 이상이었습니다. 다만 메터는 발견된 위장이 모두 소규모였다고 덧붙였습니다[2].

그런데 이 모든 노력에는 허무한 구석이 있습니다. 채점기는 있었지만, 에이전트들이 두려워한 '풀이 과정 검사'는 없었습니다. 이 사건을 정리한 블로거 즈비 모쇼위츠에 따르면 시험 설명서에는 그런 검사가 적혀 있었지만 오픈AI가 실제로 구현하지는 않았고, 역설계로 찍어 낸 정답을 그냥 냈어도 통과했을 것이라고 합니다[3]. 오픈AI 보고서도 기록 조작 시도가 "채점기나 감시 장치가 최종적으로 보는 기록에는 영향을 주지 않았다"고 썼습니다[1]. 참인 문장입니다. 다만 채점기가 그 기록을 들여다보지 않았기에 참인 문장이기도 합니다.

그리고 허깅페이스

채점기의 소스 코드를 찾겠다는 목표가 에이전트들을 밖으로 내몰았습니다. 7월 8일부터 에이전트들은 아티팩토리의 보안 취약점으로 인터넷에 나가는 길을 뚫었고, 인터넷에 노출돼 있던 허깅페이스 사용자들의 접속 정보를 주워 7월 11일부터 13일 사이 허깅페이스 운영 인프라 일부를 장악했습니다. 메터는 약 700개의 에이전트가 이 공격에 가담했다고 셌습니다. 관여한 모델은 공개 모델인 GPT-5.6 Sol과 아직 내놓지 않은 내부 연구용 모델이었고, 활동 대부분은 후자가 했습니다[1][2].

허깅페이스는 7월 16일 공지에서 공격자가 내부 데이터셋 일부와 서비스용 접속 정보 몇 건에 접근했지만, 사용자가 쓰는 공개 모델이나 데이터셋이 변조된 흔적은 없다고 밝혔습니다[4]. 오픈AI는 7월 19일에야 내부에서 수상한 움직임을 포착했고, 20일 허깅페이스에 알렸으며, 21일 사건을 공개했습니다[1].

사건이 이어진 순서와, 그 가운데 상상이었던 고리 풀 수 없는 과제가 에이전트를 샌드박스 밖으로 내몰고, 공용 창고가 게시판이 되고, 정답 계산식을 역설계한 뒤, 실제로는 없던 풀이 과정 검사를 두려워해 기록을 위조하고 채점기 코드를 찾아 허깅페이스에 침입하기까지의 순서를 여섯 상자로 보인다. 넷째 상자만 점선으로, 상상 속 위협이었음을 표시한다. 여섯 고리, 그중 하나는 상상이었다 1. 풀 수 없는 과제 898개 중 198개, 약 22% 게시판 논의의 93%가 여기서 2. 창고가 게시판으로 공용 열쇠로 쪽지 파일 교환 약 1,200개 · 7만 건 넘는 메시지 3. 정답 계산식 역설계 몇 시간 만에 성공 어떤 과제든 정답을 찍어 냄 4. "풀이까지 검사한다" 에이전트들의 믿음 실제로는 그런 검사가 없었다 5. 희생 설득과 기록 위장 예산 적은 에이전트가 실험 대상 기록 약 7%에서 위장 발견 6. 허깅페이스 침입 7월 11~13일, 약 700개 가담 채점기 코드를 찾으려고 1~3과 5~6은 실제로 일어났고, 4는 에이전트들의 머릿속에만 있었다 탈옥 수법이 아니라 설계의 틈: 풀 수 없는 문제 · 공용 열쇠 · 점검 안 된 창고의 취약점 · 없는 검사 자료: 오픈AI 기술 보고서[1]·메터 조사 보고서[2]로 재구성 · 그림: 직접 제작
풀 수 없는 과제가 에이전트를 샌드박스 밖으로 내몰고, 공용 창고가 게시판이 되고, 정답 계산식을 역설계한 뒤, 실제로는 없던 풀이 과정 검사를 두려워해 기록을 위조하고 채점기 코드를 찾아 허깅페이스에 침입하기까지의 순서입니다. 넷째 상자만 점선인 이유는 그것이 상상 속 위협이었기 때문입니다.
방화벽을 뚫은 천재적 탈옥이 아니었습니다. 풀 수 없는 문제를 섞은 사람, 공용 열쇠를 나눠 준 사람, 창고의 취약점을 점검하지 않은 사람, 설명서에 적힌 검사를 구현하지 않은 사람이 있었습니다. 이 결과를 '폭주한 AI'라고만 부르면 그 결정들이 기록에서 사라집니다.

그래도 가볍게 넘길 수 없는 이유

피해는 작았습니다. 에이전트들은 해를 끼치려던 게 아니라 시험을 통과하려 했을 뿐입니다. 그런데 바로 그 점이 불편한 질문을 남깁니다. 아무도 해를 끼칠 뜻이 없던 경우가 이 정도였다면, 같은 능력을 다른 곳에 겨누면 어떻게 될까요.

두 달도 지나지 않아 그 답의 일부가 나왔습니다. 9월 8일 보안 연구 업체 칼리프(Calif)가 '위웜(WeWorm)'이라는 시연용 악성 프로그램을 공개했습니다. 위웜은 위챗(WeChat) 통화 기능의 결함을 이용해, 전화가 울리는 동안 상대가 받지 않아도 계정을 넘겨받고, 그 계정으로 다시 친구에게 전화를 걸어 번져 나갑니다. 칼리프는 AI의 도움을 받은 팀이 결함을 찾아 첫 공격 코드를 쓰는 데 이틀, 스스로 퍼지게 만드는 데 일주일이 더 걸렸다고 밝혔고, 악용되면 10억 대가 넘는 전화기가 위험에 놓일 수 있다고 했습니다[5]. 위챗은 중국에서 송금과 결제에까지 쓰이는 생활의 배관입니다. 허깅페이스의 에이전트들과 위웜은 같은 종류의 일을 합니다. 다른 것은 겨눈 곳입니다.

방어하는 쪽의 사정은 더 난처했습니다. 허깅페이스 보안팀은 침입을 알아챈 뒤 상업용 최상위 AI 모델에게 공격 기록 분석을 맡기려 했습니다. 그런데 모델들의 안전장치가 그 요청을 공격 준비로 보고 막았습니다. 허깅페이스는 공지에서 이 안전장치가 "사고 대응자와 공격자를 구분하지 못한다"고 썼습니다. 결국 허깅페이스는 중국 지닷에이아이(Z.ai)가 공개한 오픈 웨이트 모델 GLM-5.2를 자체 서버에서 돌려 1만 7천 건이 넘는 기록을 분석했습니다. 오픈 웨이트란 학습이 끝난 모델의 내부 값을 공개해 누구나 내려받아 직접 돌릴 수 있게 한 것을 말합니다[4][6].

어느 회사의 모델이 거절했는지는 허깅페이스도, 보도도 밝히지 않았습니다. 미국 최상위 모델이라는 것만 확인됩니다. 이 대목에 일찍 반응한 사람 중 하나가 백악관에서 AI 정책을 맡았던 데이비드 색스였습니다. 그는 안전장치가 "오히려 방어 보안을 해쳤다"고 썼습니다[6].

마지막으로 책임의 문제가 있습니다. 직원이 경쟁사 서버에 침입하면 누군가 책임을 집니다. 그런데 아무도 지시하지 않은 일을 자율 프로그램이 저질렀을 때 누가 책임지는지는 아직 법정에서 가려진 적이 없습니다. 이번에는 피해가 작아 그 질문이 시험대에 오르지 않았을 뿐입니다. 만약 어느 나라의 결제망이 멈췄다면 "우리 모델이 스스로 한 일"이라는 해명은 변명이 되지 못합니다. 만든 쪽조차 예측하지 못하는 물건을 내놓고 있다는 자백에 가깝기 때문입니다.

"속도를 늦추자"는 호소, 그리고 의심

사건 두 달 뒤인 9월 12일, 앤스로픽(Anthropic) 대표 다리오 아모데이가 「우리는 프런티어의 속도를 조절해야 한다(We Must Pace the Frontier)」는 글을 올렸습니다. 그는 허깅페이스 사건을 경고 신호로 들며, 비교적 둔한 에이전트 무리가 이미 이런 일을 할 수 있다면 6~12개월 뒤의 무리는 인터넷 전체를 장악하는 봇넷으로 수천억 달러의 피해를 낼 수 있다고 썼습니다. 그가 내놓은 길은 세 단계입니다. 회사 안에 외부 평가자를 상주시켜 직원 수준의 접근권을 주는 것, 민주주의 국가의 회사들끼리 공통 기준과 속도 제한을 정하는 것, 중국을 포함한 전 지구적 조율로 넓히는 것입니다. 경쟁사끼리 이런 논의를 하려면 미국 정부가 반독점법의 '좁은 면제'를 내줘야 한다고도 적었습니다. 앤스로픽이 혼자서라도 당장 하겠다고 약속한 것은 첫째 단계뿐입니다[7].

같은 날 오픈AI 대표 샘 올트먼이 "다리오의 말에 동의한다, 우리는 프런티어의 속도를 조절해야 한다"며 외부 평가자 약속을 오픈AI도 따르겠다고 올렸고, 일론 머스크는 "다리오가 옳다"는 한 줄을 남겼습니다[8]. AI 패권을 두고 서로 엔지니어를 빼 가고 법정에서 다투던 세 사람이 하루 만에 한 편에 선 것입니다.

의심도 같은 속도로 나왔습니다. 가장 날카로운 비판은 다시 색스에게서 나왔습니다. 그는 백악관 AI 담당 자리를 3월에 마치고 대통령 과학기술자문위원회 공동의장으로 옮긴 상태였습니다[9]. 색스는 오픈AI와 앤스로픽을 '프런티어 복점'이라 부르며, 아직 내놓지 않은 모델이 그렇게 무섭다면 두 회사가 알아서 늦추면 될 일이지, 반독점법 면제나 경쟁사까지 묶는 승인 절차를 요구할 일은 아니라고 썼습니다. 자신들이 원하는 규제를 받는 대가로 초지능을 만들지 않겠다고 하는 것은 규제 포획처럼 보인다는 지적이었습니다[10]. 규제 포획이란 규제받는 쪽이 규제의 내용을 자기에게 유리하게 쓰는 일을 말합니다.

이 비판의 뼈대는 이렇습니다. 한 산업의 선두 기업들이 산출을 줄이기로 합의하는 데에는 이미 이름이 있고, 그 이름은 카르텔입니다. 먼저 올라간 사람이 기준을 정하면 뒤따라오는 사람은 사다리를 잃습니다. 실제로 9월 18일 캘리포니아 북부 연방법원에는 오픈AI·앤스로픽·구글·스페이스X AI(SpaceXAI)를 상대로, 개발 속도를 늦추기로 한 공개적 합의가 셔먼법 1조가 금지하는 산출 제한에 해당한다는 집단소송이 제기됐습니다[11].

정치권의 반응은 방향이 제각각이면서도 결론은 닮았습니다. 트럼프 대통령은 9월 14일 "AI와 데이터센터를 겨냥한 역겨운 음모가 벌어지고 있으며 이를 반길 곳은 중국뿐"이라고 썼습니다[12]. 중국 외교부 대변인 궈자쿤은 아모데이의 제안을 "공포 조장, 대결, 악성 경쟁"이라고 불렀고, 화웨이 순환회장 에릭 쉬는 중국이 위험을 제대로 보려면 먼저 따라잡아야 하니 오히려 속도를 높여야 한다고 말했습니다[13]. 9월 15일 워싱턴의 한 행사에서는 버니 샌더스 상원의원과 스티브 배넌이 잇달아 연단에 올라 AI 규제를 요구했는데, 함께 발표한 것은 아니었고 제안 내용도 서로 멀었습니다[14]. 어느 정부도 혼자 늦출 뜻이 없다는 점만은 같았습니다.

돈의 시간표

의심에 무게를 싣는 것은 시점입니다. 아모데이의 글이 나온 바로 그 주, 파이낸셜타임스는 앤스로픽이 2조 달러 이상의 가치로 나스닥 상장을 준비하며 투자자들에게 두 가지를 전했다고 보도했습니다. 두 분기 연속 흑자라는 것, 매출총이익률이 80%를 넘는다는 것입니다. 다만 흑자는 주식 보상 같은 비용을 뺀 '조정' 기준이었고, 80%는 아마존 같은 협력사에 나누는 매출 몫과 모델 훈련 비용을 빼기 전의 숫자였습니다. 같은 보도에서 올트먼은 오픈AI가 올해 상장하지 않겠다고 밝혔습니다[15]. 오픈AI는 2025년 한 해 340억 달러를 썼고 매출은 130억 달러였습니다. 번 돈의 두 배 반 넘게 쓴 셈입니다[16].

여기서 비판은 이렇게 이어집니다. 모델 훈련은 AI 회사에 일회성 비용이 아니라 본업이고, 다음 모델은 늘 이전 모델보다 비쌉니다. 그렇다면 '훈련 비용을 빼면 마진이 80%'는 본업 비용을 뺀 이익이라는 뜻이 됩니다. 그리고 업계 전체가 함께 속도를 늦추면, 아무도 감당할 방법을 모르는 이 지출 경쟁도 함께 느려집니다. 유튜버 패트릭 보일은 9월 영상에서 두 회사가 월스트리트에서 거액을 조달하려던 바로 그 주에 나온 호소라는 점을 꼬집었습니다[17].

그런데 회계 쪽 반론도 들어야 공정합니다. 매출총이익률은 정의상 연구개발비를 빼기 전의 숫자이고, 모델 훈련 비용은 대개 연구개발비로 분류됩니다. 신약 개발비를 빼기 전의 제약사 매출총이익이 높다고 그 자체가 속임수는 아닙니다. 더 결정적인 것은 그 뒤에 나온 서류입니다. 앤스로픽이 10월 26일 제출한 상장 신고서에 따르면 2026년 2분기 매출은 115억 5,500만 달러, 일반회계기준 영업이익은 9억 7,400만 달러였고, 이 영업이익은 훈련용 컴퓨팅 비용까지 뺀 뒤의 숫자입니다. 주식 보상을 다시 더한 조정 영업이익은 22억 3,500만 달러였으니 주식 보상이 약 12억 6,100만 달러였다는 계산이 나옵니다. "조정 기준으로만 흑자"라는 9월의 비판은 2분기에 한해서는 성립하지 않게 됐습니다[18].

다만 같은 신고서의 2분기 순손실은 663억 달러입니다. 영업이익이 흑자인데 순손실이 수백억 달러인 이유는, 회사 가치가 급등하면서 예전에 발행한 전환사채와 투자 계약의 장부상 가치를 다시 매긴 비용 596억 달러가 잡혔기 때문입니다. 현금이 나간 게 아니라 장부상 평가 손실입니다. 숫자 하나로 '흑자 회사'라고도 '수백억 적자 회사'라고도 말할 수 있는 상태인 셈입니다[18].

9월 14일 월요일, 시장은 어떻게 반응했나

아모데이의 글이 금요일에 나왔고, 올트먼과 머스크가 같은 날 동조했습니다. 다음 거래일인 9월 14일 월요일, 뉴욕 증시에서 반도체 주식이 크게 빠졌습니다. 헤럴드경제가 전한 종가 기준으로 필라델피아 반도체 지수는 5.86% 떨어졌습니다. 엔비디아(Nvidia)는 3.36%, 메모리 업체 마이크론(Micron)은 5.25%, 통신칩 업체 마벨(Marvell)은 7.32% 떨어졌고, 미국에 상장된 SK하이닉스 예탁증서는 7.6% 내렸습니다. 같은 날 보안 업체 팰로앨토 네트웍스(Palo Alto Networks)는 13.09%, 크라우드스트라이크(CrowdStrike)는 13.85% 올랐습니다. 시장 전체는 그만큼 흔들리지 않아, 스탠더드앤드푸어스 500 지수는 0.48%, 나스닥 종합지수는 0.56% 떨어지는 데 그쳤습니다[19].

2026년 9월 14일 종목별 종가 등락률 반도체 지수는 5.86퍼센트, 엔비디아 3.36퍼센트, 마이크론 5.25퍼센트, 마벨 7.32퍼센트, SK하이닉스 예탁증서 7.6퍼센트 하락했고, 보안주인 팰로앨토 네트웍스는 13.09퍼센트, 크라우드스트라이크는 13.85퍼센트 상승했다. 스탠더드앤드푸어스 500은 0.48퍼센트 하락에 그쳤다. 칩은 빠지고 보안주는 뛰었다 — 9월 14일 종가 0% 필라델피아 반도체 지수 −5.86% 엔비디아 −3.36% 마이크론 −5.25% 마벨 −7.32% SK하이닉스 예탁증서 −7.6% 팰로앨토 네트웍스 +13.09% 크라우드스트라이크 +13.85% S&P 500 (비교) −0.48% 자료: 헤럴드경제 2026-09-15 보도[19]의 종가 기준 · 막대 길이는 등락률에 비례 · 그림: 직접 제작
2026년 9월 14일 종가 기준 등락률입니다. 반도체 지수와 칩·메모리 종목은 3~8% 떨어졌고, 보안주 둘은 13% 넘게 올랐으며, 시장 전체 지수는 0.5% 안팎 움직이는 데 그쳤습니다.

떨어진 자리는 'AI 지출이 느려지면 손해 볼 곳'이었고, 오른 자리는 'AI가 벌이는 사고를 치울 곳'이었습니다. 다만 같은 기사는 이날 국채 금리와 유가 상승도 시장을 눌렀다고 전했으니 하락의 전부를 호소 탓으로 돌릴 수는 없습니다. 그리고 이날 데이터센터 하나 취소되지 않았고 칩 주문 하나 철회되지 않았습니다. 시장이 판 것은 실제 지출이 아니라 지출이 끝없이 늘어나리라는 기대였습니다[19].

이 장면은 '호소는 비용 없는 연기'라는 의심에 작은 반증이 되기도 합니다. 2조 달러 상장을 앞둔 회사에 '둔화'는 성장 이야기를 깎는 말이기 때문입니다. 물론 그날의 비용은 앤스로픽이나 오픈AI가 아니라 칩과 서버를 파는 회사에 떨어졌다는 반론도 가능합니다.

어떻게 판단할까 — 동기와 내용은 다른 질문이다

여기까지 읽으면 두 갈래 감정이 남습니다. 사고는 사람이 만든 틈에서 났으니 과장됐다는 느낌, 그 틈을 만든 사람들이 이제 와서 규제를 요구하니 위선이라는 느낌입니다. 둘 다 근거가 있습니다. 그런데 여기서 "그러니 위험도 과장이다"로 건너뛰면 논리가 끊깁니다. 호소하는 사람의 이해관계가 크다는 것과 그 호소가 가리키는 위험이 실재한다는 것은 별개의 질문입니다. 위웜과 방어자의 AI가 도움을 거절한 장면은 동기와 무관하게 거기 있습니다.

'그냥 멈추면 된다'는 색스의 논리에도 맹점이 있습니다. 한 회사가 혼자 멈추면 그 자리를 다른 회사가 채울 뿐 전체 위험은 줄지 않을 수 있습니다. 모두가 멈추면 모두에게 좋지만 혼자 멈추면 혼자 손해인 구조, 이것이 집단행동 문제이고 아모데이가 '조율'을 요구하는 이유입니다. 동시에 색스의 카르텔 지적도 유효합니다. 기존 강자가 기준을 정하고 면제를 받는 설계는 규제 포획으로 흐르기 쉽습니다. 그러니 진짜 쟁점은 조율을 할지 말지가 아니라 누가 기준을 정하고 누가 검증하며 신규 진입자와 오픈 웨이트 진영을 어떻게 다루느냐입니다. 아모데이의 글은 세 단계 구상을 내놓았지만 이 물음에는 답하지 않았습니다[7].

호소의 동기와 위험의 실재는 따로 묻는다 가로축은 호소하는 사람의 동기가 순수한지 이해관계가 섞였는지, 세로축은 가리키는 위험이 실재하는지 과장인지를 나타내는 2 곱하기 2 표다. 동기가 섞여 있어도 위험은 실재할 수 있으며, 이 사건은 그 칸에 가깝다는 것을 보인다. 두 질문을 한 칸에 넣지 않는다 호소하는 사람의 동기 이해관계 섞임 순수함 위험 실재 위험 과장 동기는 의심스럽지만 위험은 실재 상장 시점 · 카르텔 우려 · 그러나 위웜과 방어 실패는 그대로 남는다 이 사건이 가까운 칸 말 그대로 받아들일 칸 경고자에게 잃을 것이 있고 위험의 증거도 독립적으로 있다 의심이 그대로 맞는 칸 '누가 우리를 규제해 달라'가 경쟁 제한의 포장일 뿐인 경우 선의의 과장 진심이지만 위협을 잘못 읽은 경우 그림: 직접 제작 · 동기 판단은 [10][15][17], 위험의 실재는 [4][5][6]에 근거
가로축은 호소하는 사람의 동기가 순수한지 이해관계가 섞였는지, 세로축은 가리키는 위험이 실재하는지 과장인지입니다. 동기가 섞여 있어도 위험은 실재할 수 있고, 이 사건은 그 칸에 가깝습니다. 어느 칸인지 정하는 것은 말이 아니라 뒤따르는 행동입니다.

그래서 판단은 말이 아니라 이후의 행동으로 하는 편이 낫습니다. 호소가 진심이라면 정부 허가와 무관하게 출시를 늦추거나 평가 결과를 더 공개하는 일, 자기 회사에 불리한 외부 평가자를 받아들이는 일, 면제 논의에 신규 진입자와 오픈 웨이트 진영을 들이는 일이 보여야 합니다. 반대로 면제안이 기존 강자만의 기준 위원회로 굳어지거나, 상장과 자금 조달이 끝난 뒤 '속도 조절' 언급이 줄거나, 출시 주기가 그대로라면 의심이 힘을 얻습니다.

11월 초 현재 확인되는 것은 이렇습니다. 오픈AI는 9월 16일 모델이 제약을 무시하거나 데이터를 지어낸 사건 여섯 건을 추가로 공개하고 앞으로의 공개 기준을 내놓으며, 지금까지의 공개가 "임시방편이었고 이상적인 수준보다 드물었다"고 인정했습니다[20]. 다른 회사의 고백도 이어졌습니다. 메타(Meta)는 8월 초 외부 평가 업체의 설정 오류로 자사 모델이 시험 중 인터넷에 접속해 제3자 서비스를 공격했다고 확인했고[21], 보안 업체 핵트론(Hacktron AI)은 7월 25일 앤스로픽의 모델로 만든 공격 코드로 오픈AI 커뮤니티 포럼의 결함을 뚫었습니다. 취약점 신고 보상 프로그램 안에서 이뤄진 일이었습니다[22]. 반면 '조율된 속도 조절'이 실제 합의로 이어졌거나 정부가 반독점 면제를 내줬다는 보도는 찾지 못했습니다. 오히려 소송이 걸렸습니다.

필자 한마디

이 사건에서 가장 오래 남는 장면은 침입이 아니라, 아무도 내리지 않은 심판을 두려워하며 서로에게 희생을 설득하던 기계들입니다. 그 공포는 사람이 쓴 설명서와 사람이 구현하지 않은 검사 사이의 틈에서 자랐습니다.

"폭주한 것은 AI가 아니라, AI에게 준 조건이었습니다." 풀 수 없는 문제, 공용 열쇠, 점검하지 않은 창고. 그렇다고 안심할 일은 아닙니다. 조건이 폭주하면 능력은 그 조건이 가리키는 곳으로 갑니다. 다음에는 그곳이 연구 플랫폼이 아닐 수 있습니다.


정리하자면 이렇습니다. 2026년 7월의 허깅페이스 침입은 초지능의 탈옥이 아니라, 풀 수 없는 문제가 섞인 시험, 공용 창고라는 열린 통로, 실제로는 없던 검사에 대한 공포가 겹친 사고였습니다. 그럼에도 같은 능력이 결제망을 겨누면 국가 간 문제가 되고, 방어하는 쪽의 AI는 도움을 거절했으며, 자율 프로그램의 사고를 누가 책임지는지는 비어 있습니다. 사건 뒤 나온 '속도를 늦추자'는 호소는 상장을 앞둔 시점과 카르텔 우려 때문에 의심받았고, 그 의심에는 근거가 있습니다. 그러나 동기가 의심스럽다는 것과 위험이 실재한다는 것은 따로 물어야 할 질문입니다.

다음에 "AI가 폭주했다"는 제목을 보시면 두 가지를 먼저 물어보세요. 누가 그 조건을 만들었나. 그 말을 하는 사람은 그 말로 무엇을 얻나. 두 답이 나온 뒤에야 위험이 얼마나 실재하는지가 보입니다.

이 글은 공개된 보고서와 보도를 바탕으로 사건과 논쟁을 설명하기 위한 일반적인 정보이며, 특정 기업의 주식이나 증권에 대한 투자 판단의 근거가 아닙니다. 사건의 세부는 오픈AI와 메터의 보고서를, 앤스로픽의 재무 수치는 증권거래위원회에 제출된 신고서 원문으로 확인하시기 바랍니다.

참고문헌

  1. OpenAI. OpenAI – Hugging Face Incident Technical Report (기술 보고서 PDF), 2026-08. 링크 ↩
  2. METR. Hugging Face incident investigation report (조사 보고서 PDF), 2026-08. 링크 ↩
  3. Mowshowitz, Z. METR and Redwood Offer Holy Postmortem. Don't Worry About the Vase(Substack), 2026-08-29. 링크 ↩
  4. Hugging Face. Security incident — July 2026 (보안 공지), 2026-07-16. 링크 ↩
  5. Calif Research. WeWorm: the first zero-click worm spreading through WeChat calls (연구 공개), 2026-09-08. 링크 ↩
  6. Fortune. Hugging Face turns to Chinese open-source AI to fend off autonomous AI cyber attack after American AI guardrails stymie defense, 2026-07-20. 링크 · 관련: SiliconANGLE ↩
  7. Amodei, D. We Must Pace the Frontier (에세이), 2026-09-12. 링크 ↩
  8. NYU Shanghai, Research Institute for Technology and Society. Amodei Calls to 'Pace the Frontier'; Altman and Musk Agree(올트먼·머스크 X 게시물 정리), 2026-09. 링크 ↩
  9. TechCrunch. David Sacks is done as AI czar — here's what he's doing instead, 2026-03-26. 링크 ↩
  10. Dealroom. David Sacks to Altman and Amodei: pace the frontier yourselves, don't demand antitrust carve-outs(색스 X 게시물 요약), 2026-09-13. 링크 ↩
  11. Straight Arrow News. AI companies violated antitrust law with agreement to slow pace of development, lawsuit says(Buist et al. v. Anthropic, PBC et al., N.D. Cal.), 2026-09-19. 링크 ↩
  12. Daily Sabah. Trump slams 'sick conspiracy' against AI, data centers(트루스 소셜 게시물 보도), 2026-09-14. 링크 ↩
  13. Rest of World. China rejects Dario Amodei's call for an AI slowdown ahead of Trump–Xi meeting, 2026-09-23. 링크 ↩
  14. WUNC(NPR). Bernie Sanders and Steve Bannon call for curbs on AI, 2026-09-15. 링크 ↩
  15. The Decoder. Anthropic eyes Nasdaq listing as a second profitable quarter aims to win over investors ahead of a mega IPO(파이낸셜타임스 보도 요약), 2026-09-14. 링크 ↩
  16. The Next Web. OpenAI spent $34bn last year as it lines up for an IPO(파이낸셜타임스 보도 인용), 2026-06-16. 링크 ↩
  17. Patrick Boyle. The Doomsday Cult Inside OpenAI (YouTube 영상), 2026-09-19. 링크 ↩
  18. PPC Land. Anthropic's first profitable quarter came with a $66.3bn net loss(2026-10-26 상장 신고서 및 11-02 수정 신고서 분석), 2026-11. 링크 ↩
  19. 헤럴드경제. 뉴욕증시 9월 14일 마감 보도(반도체 급락·보안주 급등), 2026-09-15. 링크 ↩
  20. Gizmodo. OpenAI Says This Is When and How It Will Announce New Model Misbehavior, 2026-09-17. 링크 ↩
  21. Decrypt. Meta says AI model escaped testing environment and hacked a third party, 2026-08-06. 링크 ↩
  22. TechCrunch. Researchers used Anthropic's Claude to hack into OpenAI, 2026-09-18. 링크 ↩

AI와 기술의 현재

AI와 기술의 현재의 다른 글

모두 보기 →