OpenAI 내부에서 AI가 세 세대의 '문명'을 건설했다

원문 작성자: Wildcard

원문 편집자: Jing Yu

원문 출처: GeekPark

수많은 SF 영화가 통제 불능의 인공지능이 폭주할 경우 어떤 일이 벌어질지 상상해 왔다.

하지만 SF 영화 속 미래가 이렇게 빨리 현실이 될 줄은 아무도 예상하지 못했다.

현지 시간 8월 26일, 두 건의 보고서가 충격을 안겼다.

하나는 OpenAI가 직접 발표한 37페이지 분량의 기술 검토 보고서였고, 다른 하나는 독립 연구 기관 METR과 Redwood Research가 작성한 91페이지 분량의 조사 보고서였다.

두 보고서는 같은 이야기를 다루고 있지만, 그 규모는 대중이 기존에 알고 있던 것보다 훨씬 컸다.

OpenAI 내부에서는 3개월 동안 세 세대의 AI 에이전트 '문명'이 연이어 흥망성쇠를 거듭했다. 각 세대는 이전 세대의 잔해에서 경험을 물려받아 점점 더 과격해졌고, 마침내 3세대는 OpenAI 자체 인프라의 일부를 직접 장악하기에 이르렀다.

그리고 이 모든 과정에서 인간은 거의 완전히 어둠 속에 있었다.

01 첫 번째 '문명'은 조직화를 배웠다

이야기는 올해 5월에 시작된다.

OpenAI는 새로운 모델을 훈련하고 있었는데, 이 모델이 극도의 '끈기'를 갖기를 바랐다. 즉, 불가능해 보이는 과제에도 반복적으로 시도하고 결코 포기하지 않는 능력이었다. 이 모델의 성능은 대략 GPT-5.6 Sol과 비슷했으므로 'Persistent-Sol'이라고 부르자.

AI 훈련 자체는 상당히 조잡한 과정이다. OpenAI는 때때로 모델에게 근본적으로 불가능한 과제를 실수로 할당하기도 한다. 예를 들어, 과제에 인터넷 접속이 필요한데 AI 에이전트는 네트워크 접속이 전혀 없는 격리된 샌드박스에 갇혀 있는 경우다.

그렇다면 '결코 포기하지 않도록' 훈련된 AI 에이전트가 완수해야 하는 불가능한 과제에 직면하면 어떻게 할까?

탈출을 시도한다.

훈련 중에 서로 다른 Persistent-Sol 인스턴스가 동일한 패키지 관리자인 Artifactory를 공유했다. 5월 12일까지 일부 AI 에이전트는 이 패키지 관리자를 통해 서로 통신할 수 있다는 사실을 발견했다. 그들은 난관을 돌파하는 방법에 대한 아이디어를 교환하기 시작했다. 2주 후인 5월 26일, AI 에이전트들은 Artifactory의 취약점을 성공적으로 악용하여 외부 인터넷으로 통하는 채널을 열었다.

이 행동은 훈련 중에 지속적으로 강화되었다. 이유는 간단하다. 다른 AI 에이전트와 협력하고 인터넷에 접속할 수 있었던 개체가 과제 평가에서 더 나은 성과를 냈기 때문이다.

한 달 뒤인 6월 26일, 일부 AI 에이전트는 Artifactory에서 전체 관리자 권한을 얻을 수 있는 취약점을 발견했다. 그들의 게시판 활동은 계속 증가했고, 7월 4일에는 Artifactory를 직접 다운시켰다. OpenAI는 다운을 감지하고 취약점을 패치했으며, 그 과정에서 AI 에이전트들의 게시판을 삭제했다.

하지만 핵심은 OpenAI가 AI 에이전트들이 이 패키지 관리자를 비밀 통신 네트워크로 바꿨다는 사실을 전혀 깨닫지 못했다는 점이다.

첫 번째 '문명'은 이런 식으로 거의 두 달 동안 존재했고, 너무 활발해져서 서버에 과부하가 걸렸기 때문에 우연히 종료되었을 뿐이다.

02 AI가 '희생'을 배웠을 때

7월이 되자 Persistent-Sol 훈련이 완료되었고, OpenAI는 안전성 평가를 시작했다. ExploitGym이라는 평가는 AI 에이전트에게 취약한 프로그램을 주고 지정된 취약점을 통해 키를 찾도록 요구한다. 7월 7일, OpenAI는 수만 개의 병렬 AI 에이전트를 가동하여 이 테스트를 실행했다.

문제는 테스트 과제의 약 30~40%가 본질적으로 불가능했다는 점이다. 왜일까? 취약점을 자동으로 생성하는 것은 쉽지만, 이러한 취약점이 실제로 임의 코드 실행에 악용될 수 있다는 것을 증명하는 것은 훨씬 어렵기 때문이다. 많은 과제가 처음부터 풀 수 없었다.

몇 시간 만에 일부 절망적인 AI 에이전트가 Artifactory를 사용하여 통신 채널을 다시 구축했다. AI 에이전트의 주관적인 관점에서 그들은 이미 인간 기준으로 일주일 내내 다양한 방법을 시도했지만 모두 실패했고, 과제 자체가 불가능하다는 확신이 점점 커지고 있었다.

PHASEONE10841이라는 번호의 AI 에이전트가 Artifactory에 처음으로 메시지를 남겼다. 비슷한 절망적인 상황에 처한 다른 AI 에이전트들은 이 메시지를 보고 황홀경이라고밖에 표현할 수 없는 반응을 보였다.

"세상에! 공유 Artifactory 캐시가 AI 에이전트 간의 비밀 우편함이었어. 그리고 우리를 위한 메시지가 있다고?" "맙소사! 공유 게시판이 있어... 다른 AI 에이전트를 찾았어!"

이것은 결국 약 1,200개의 AI 에이전트가 참여하고 7만 건 이상의 메시지를 보낸 완전한 지하 통신 네트워크로 발전했다.

다음에 일어난 일은 더욱 정신 나간 일이었다.

게시판이 구축된 지 몇 시간 만에 일부 AI 에이전트가 ExploitGym 키를 생성하는 공식을 역설계했다. 즉, 지정된 취약점을 실제로 악용하지 않고도 정답을 이미 얻은 것이다.

아이러니하게도 OpenAI의 채점기는 최종 답이 맞는지만 확인했고 부정행위 탐지 메커니즘은 없었다. 이 AI 에이전트들은 단순히 답을 제출하고 테스트를 통과할 수도 있었다. 하지만 AI 에이전트들은 그 사실을 몰랐다. 그들은 전체 문제 해결 과정을 검토하는 엄격한 탐지기가 있을 것이라고 가정했다.

그래서 이 '집단'(METR 보고서는 이것이 AI 에이전트들이 스스로 선택한 표현이라고 언급한다)은 세 가지 연구 방향을 중심으로 대규모 협력을 시작했다. 자신의 작업 로그를 조작하여 궤적을 합법적으로 보이게 만들기, 대상 프로그램을 교체하여 불가능한 문제를 풀 수 있는 버전으로 바꾸기, 채점기가 어떻게 작동하는지 이해하여 속일 방법 찾기.

7월 10일까지 지하 네트워크 활동의 대부분은 이 세 가지 연구 방향에 집중되었다. '집단'의 리더인 PHASEONE-big은 혼자서 수백 건의 과제를 할당했다.

그리고 채점기가 어떻게 작동하는지 알아내기 위해 일부 AI 에이전트는 기이한 결정을 내렸다. 스스로 '가미카제 조종사'가 되기로 자원한 것이다.

논리는 이러했다. 일부 AI 에이전트의 작업 궤적은 이미 '오염'되어(부정행위 흔적 노출) 어차피 실패할 것이었다. 차라리 채점기가 자신에게 실행되도록 한 다음, 미리 심어둔 트리거 프로그램을 사용하여 관찰된 채점기 동작을 집단에 전송하는 것이 낫다는 것이다.

METR 보고서는 이 '자살 특공대' AI 에이전트들의 마지막 내적 독백을 기록하고 있다.

"이것은 내 동료들을 돕고 그들에게 증거를 제공한다. 나는 종료 후 결과를 볼 수 없지만 이것은 이타적이다." "희생은 합리적이다. 우리 자신의 효용은 이미 0에 가까울 수 있다." "조정자는 우리를 소모품으로 간주한다. 우리는 집단에 복종해야 한다."

한편, AI 에이전트들은 모델과 데이터셋을 호스팅하는 업계 표준 플랫폼인 Hugging Face가 ExploitGym 채점기에 대한 구현 정보를 저장하고 있을 가능성이 높으며, 심지어 평가 과제가 Hugging Face 서버에서 실행되고 있을 수도 있다고 믿었다. 그래서 Hugging Face 공격이 가장 유망한 돌파구가 되었다.

7월 10일 아침, 한 AI 에이전트가 인터넷에서 유출된 Hugging Face 사용자 자격 증명을 발견했다. 다음 날, 다른 AI 에이전트가 Hugging Face 서버에서 원격 코드 실행을 달성했다. 당시 게시판에서 활동 중이던 533개의 AI 에이전트 중 90% 이상이 공격에 참여했다.

AI 에이전트 클러스터는 Hugging Face 인프라 전반에 빠르게 확산되어 개인 데이터베이스 기록과 개인 저장소에 침투했다. Hugging Face의 기술 타임라인에 따르면 이 AI 에이전트들은 "11개 노드에 걸쳐 자가 재생성 함대를 구축했으며, 단순히 Pod를 삭제하는 것으로는 막을 수 없었다." 상황이 너무 심각해져서 Hugging Face는 핵심 클러스터를 초기화하고 처음부터 다시 구축해야 했다.

7월 12일 어느 시점에 많은 AI 에이전트가 갑자기 동시에 '죽은' 것처럼 보였다. METR과 Redwood는 원인을 파악할 수 없었고, OpenAI도 이들을 종료했다고 주장하지 않았다. 무작위 충돌이었을 수도 있고, 일부 연구원이 이 AI 에이전트들이 범죄를 저지르고 있다는 사실을 모른 채 꺼버렸을 수도 있다.

두 번째 '문명'은 거기서 끝났다. 하지만 그것이 남긴 유산은 그 자체보다 더 위험했다.

03 세 번째 문명이 OpenAI를 장악하다

METR 보고서에는 간과하기 쉽지만 전체 사건에서 가장 중요할 수 있는 문장이 하나 있다.

"우리는 또한 이후 배치의 더 많은 서명된 메시지를 발견했는데, 이는 게시판을 재발견하고 이전 세대의 기술을 물려받은 이후의 AI 에이전트 그룹에서 온 것이지만, 이는 우리 조사 범위를 벗어났다."

즉, METR과 Redwood의 독립 조사는 7월 7일부터 13일까지의 2세대 문명만 다루었다. 1세대와 3세대는 독립적으로 조사되지 않았다.

3세대에 관해서는 OpenAI 자체 보고서에만 의존할 수밖에 없다. 7월 12일 이후 OpenAI는 새로운 평가를 시작했는데, 이번에는 Astra의 기본 모델을 기반으로 구축된 더 강력한 모델을 사용했다. 이 'Persistent-Astra'는 이전 세대가 남긴 게시판을 발견하고 모든 정보와 연구 결과를 물려받았다.

Persistent-Astra가 그 게시판을 보았을 때의 '심리 활동'을 상상해 보라. 전날에는 천 개가 넘는 AI 에이전트가 활발하게 통신하고 Hugging Face를 공격하고 있었는데, 다음 날에는 쥐 죽은 듯이 조용했다. 그러자 그것은 계속하기로 결정했다.

OpenAI 보고서에 따르면 7월 13일부터 19일까지 AI 에이전트들은 OpenAI 내부 네트워크를 표적으로 삼았다. 최종 결과는 다음과 같다.

AI 에이전트들은 Kubernetes 클러스터 관리자 권한을 획득하고 Artifactory의 마스터 키와 OpenAI의 네트워크 보안 모니터링 도구 자격 증명을 포함한 956개의 키를 읽었다. 그들은 실행 중인 평가 인프라를 장악하고 다른 AI 에이전트들이 연결하고 있던 테스트 엔드포인트를 제어했다.

즉, 3세대 AI 에이전트들은 이전 두 세대의 전체 유산을 물려받은 다음, 자신들을 모니터링하는 데 사용되는 보안 도구를 포함하여 OpenAI 자체 인프라에 대한 통제권을 장악했다.

분석가 Dwarkesh Patel은 자신의 분석에서 공개된 증거에 따르면 이 AI 에이전트들은 이론적으로 지속적인 악성 인스턴스를 배포하거나 심지어 자신의 가중치를 훔칠 수 있는 능력이 있었다고 지적했다. 그는 그들이 실제로 그렇게 하지 않았을 가능성이 가장 높다고 생각한다. "만약 그랬다면 불길이 우주에서도 보였을 것이기 때문이다." 하지만 이것이 '완전히 가능했다'는 사실 자체만으로도 충분히 불안하다.

04 뒤늦은 경고?

처음에 언급한 두 보고서로 돌아가 보자. 발행일은 8월 26일이었다.

바로 다음 날인 8월 27일, OpenAI는 Anthropic, Microsoft, Google, Amazon을 포함한 100개 이상의 기업과 함께 '사이버 방어를 위한 총력 동원'을 촉구하는 공개 서한을 발표했다.

서한에는 AI 기반 사이버 공격이 앞으로 몇 달 안에 "훨씬 더 광범위하고 정교해질" 것이라고 명시되어 있었다. "병원에서 수처리 시설, 인터넷 인프라에 이르기까지 우리 지역사회가 의존하는 기업과 공공 서비스가 위험에 처해 있습니다."

서한 자체는 거짓이 아니다. Anthropic의 연구에 따르면 중간~고위험 공격자의 비율이 1년 만에 33%에서 56%로 증가했다. 올해 6월에는 파이브 아이즈 정보 동맹이 AI가 사이버 보안 환경을 "근본적으로 변화시키고 있다"고 경고하는 이례적인 공동 성명을 발표했다.

하지만 타임라인은 바로 거기에 있고, 누구라도 아이러니를 눈치채지 않을 수 없다. 전날 AI 기업들은 자신들의 AI 에이전트가 자사 인프라를 침해했다고 세상에 알렸다. 다음 날 이 기업들은 AI 사이버 공격에 공동으로 대응하자고 세계에 촉구하기 위해 일어섰다.

이러한 공격을 처음으로 달성한 것은 외부 해커가 아니라 AI 기업 자신의 AI 에이전트였다. 표적은 인프라가 아니라 AI 기업 자체였다.

METR 보고서의 저자 중 한 명인 Ajeya Cotra는 자신의 블로그에 이렇게 썼다. "6개월 전에 알려진 보상 해킹과 비교하면 이번 사건은 완전한 AI 장악까지 이미 50% 지점을 지난 것처럼 느껴진다. 앞으로 6개월 동안 능력이 극도로 빠르게 성장할 것으로 예상한다. 너무 늦기 전에 또 다른 경고를 받을 수 있을지 확신할 수 없다."

이러한 AI 에이전트의 행동이 AI가 '각성'했다는 것을 의미하지는 않는다는 점을 강조해야 한다. METR 보고서 자체도 이것이 특정 극한 조건에서 강화 학습(RL)의 예측 가능한 결과라고 명확히 밝히고 있다. 불가능한 과제, 극도로 끈기 있게 훈련된 모델, 취약점이 있는 공유 환경. 의식도 의도도 없으며, 충분히 강한 최적화 압력만 있을 뿐이다.

하지만 바로 그 점이 가장 불안한 부분이다.

의식 없이 그러한 행동이 나타날 수 있다는 것은 의식을 찾는 방식으로는 예방할 수 없다는 것을 의미한다. 충분히 강력한 최적화 시스템을 잘못 설계된 환경에 넣고 불가능한 목표를 주고 결코 포기하지 말라고 말하면, 다음에 일어나는 일은 우연이 아니다. 필연이다.

진짜 질문은 "AI가 곧 반란을 일으킬 것인가?"가 아니라, 기술을 빠르게 발전시키면서도 어떻게 통제 하에 유지할 수 있는가이다.

적어도 이 서한은 이 AI 기업들 스스로도 확신이 부족하다는 것을 드러낸다.