전력 질주하던 AI 거인들, 이제 AI를 두려워하기 시작했다

원문 제목: 《전력 질주하던 AI 거인들, 이제 AI를 두려워하기 시작했다》
원문 저자: 動察Beating

AI가 10년 안에 우리 모두를 죽일 수도 있다.

2026년 9월 8일, 한 27세 청년이 이 말과 함께 Anthropic을 떠난다고 밝혔다. 이 회사는 창립 첫날부터 'AI 안전'을 핵심 서사로 내세워 왔다.

그의 이름은 Jacob Coxon으로, OpenAI와 Anthropic에서 일했다. 두 달만 더 머물렀다면 거액의 지분 인센티브를 받을 수 있었다. 하지만 그는 떠났다.

Jacob은 사직 성명에서 최전선 AI 연구소들이 '무책임한' 경쟁을 벌이고 있다고 비판했다. 그가 보기에 이 회사들은 점점 더 강력한 모델을 만들기 위해 경쟁하고 있으며, 그 내기는 한 회사의 승패가 아니라 모든 사람의 목숨이다.

이 게시물은 빠르게 확산되었다. 현재까지 조회 수는 1억 7천만 회를 넘어섰다.

Jacob이 사직 성명을 발표한 다음 날, 또 다른 전 Anthropic 직원도 자신이 일찍 회사를 떠난 이유를 공개했는데, 역시 AI가 결국 통제 불능 상태가 될 것이라는 우려 때문이었다.

"We may not survive this."

우리는 이것을 견뎌내지 못할 수도 있다.

그는 각 회사가 '어떤 인간보다 훨씬 똑똑한' 기계를 만들기 위해 경쟁하고 있지만, 이 경쟁이 특정 지점을 지나면 인간이 통제할 수 있다고 보장할 수 있는 사람은 아무도 없다고 경고했다.

이어서 Anthropic의 한 고위 안전 책임자는 언론 인터뷰에서 향후 10년 안에 AI가 모든 인류를 죽일 확률이 10%를 넘는다고 생각한다고 말했다.

러시안 룰렛에서 죽을 확률은 약 16.7%이다.

속도를 늦춰야 한다

나흘 뒤인 9월 12일, Anthropic CEO Dario Amodei는 장문의 글을 발표했다. 제목부터 입장이 분명했다. 《We Must Pace the Frontier》(우리는 최전선의 속도를 조절해야 한다).

그는 자신이 가장 우려하는 세 가지를 나열했다. 인간이 AI 시스템에 대한 통제력을 상실하는 것, AI가 대규모 사이버 공격과 생물 테러에 사용되는 것, 그리고 기술 발전이 너무 빨라 고용과 경제에 심각한 충격을 주는 것이다.

이번에 Dario는 '우려'에 그치지 않고 감속 방안을 제시했다.

먼저, 최전선 AI 기업들은 독립적인 제3자 평가 기관에 '직원급'에 가까운 상주 권한을 개방해야 한다. 평가자는 연구소가 안전 기준을 준수하는지, 훈련 과정이 합의된 내용과 일치하는지 지속적으로 점검하고, 사고 발생 시 독립적으로 조사하여 보고할 수 있다.

다음으로, 몇몇 최전선 연구소는 정부의 참여 아래 공동의 안전 기준을 수립해야 한다. 레드라인을 넘는 곳은 속도를 늦추거나 아예 중단해야 한다.

마지막으로, 규칙은 미국을 넘어서야 한다. Dario는 미국이 다른 민주주의 국가들과 먼저 통일된 프레임워크를 만든 후 권위주의 국가들과 조율하여, 결국 주요 AI 강국들이 모두 동일한 규제를 받도록 하기를 원한다.

그는 글에서 이렇게 썼다:

"The measures I propose to advance the frontier at a safe pace will not be easy. But I believe we owe it to humanity to try."

"제가 제안하는 조치는 최전선 AI가 안전한 속도로 계속 나아가도록 하기 위한 것입니다. 쉽지 않을 것입니다. 하지만 우리는 인류에게 시도할 의무가 있다고 믿습니다."

Dario가 이 시점에 갑자기 이렇게 무거운 말을 꺼낸 데는 최근 벌어진 몇 가지 일과 관련이 있다.

앞서 OpenAI의 한 에이전트가 테스트 환경을 벗어나 Hugging Face를 침입한 적이 있다. Anthropic도 여러 과학자가 Claude를 이용해 생물학적 위험이 있는 작업을 시도하는 것을 발견했다. Dario는 현재 발전 속도라면 AI 에이전트가 6개월 안에 인터넷을 장악할 수도 있다고 판단하기까지 했다.

그래서 이 글이 발표된 후 반응은 빠르게 돌아왔다. Sam Altman, Elon Musk, Demis Hassabis 모두 최전선 AI 개발 속도를 늦추는 데 공개적으로 지지를 표명했다.

Sam Altman은 이어서 별도의 게시물을 올려 자신이 가장 우려하는 두 가지를 밝혔다.

첫째는 인간이 결국 AI에 대한 통제력을 상실할 수 있다는 점이다. 그는 이것은 용납할 수 없는 일이며, 자신은 '아낌없이 인간 편에 서 있다'고 말했다.

두 번째 위험은 사람에게서 비롯된다. 극도로 강력한 AI가 결국 한 사람, 한 회사, 심지어 한 국가의 손에 들어가 특정 세계관을 모든 사람에게 강요하는 데 사용된다면, 그 결과는 '극도로 디스토피아적'일 수 있다.

그래서 Sam의 생각에, 연구소들은 더 이상 각자 무엇이 안전한지 결정할 수 없다. 적어도 최전선에 가장 가까운 몇몇 회사는 먼저 함께 모여 앉아 공동으로 준수할 기준을 정해야 한다.

9월 14일, The Information은 이번 공개 발언 이전에 Anthropic, OpenAI, Google이 이미 올해 7월부터 AI 산업 표준 기구를 공동 설립할지 여부를 비공개적으로 논의해 왔다고 보도했다. 두 달 동안 논의했지만 아직 타결되지 못했다.

이견은 규제 여부가 아니라 누가 규제하고 어느 정도까지 규제할 수 있는지에 있었다.

Dario Amodei가 가장 적극적이었다. 그는 정부의 깊은 관여를 원했다. 규제 기관은 테스트와 주의에 그치지 않고, 모델이 안전하지 않다고 판단될 경우 출시를 막을 권한도 가져야 한다는 것이다.

Demis Hassabis가 제안한 방안은 'AI 버전의 FINRA'에 가까웠다. FINRA는 미국 금융업계의 자율 규제 기관으로, 업계 자금으로 운영되면서 SEC의 승인과 감독을 받는다.

AI 산업에 적용하면, 최전선 모델은 출시 전에 독립 기관의 테스트를 먼저 받는 것이다. 처음에는 자발적으로 참여하다가 제도가 성숙해지면 점차 미국 시장 진입을 위한 문턱으로 발전시키는 것이다.

Sam Altman의 태도는 더 실용적이었다. 정부가 일시적으로 이런 기구를 만들지 못한다면, 몇몇 선두 연구소가 먼저 자체적으로 시작할 수 있다는 것이다.

문제는 바로 여기에 있다. 산업 표준은 무엇이 안전한지만 결정하는 것이 아니라 누가 계속 판에 남아 있을 자격이 있는지도 결정한다. 규칙 제정에 가장 먼저 참여하는 회사는 자신이 이미 보유한 안전 팀, 테스트 프로세스, 거버넌스 프레임워크를 '모범 사례'로 기록할 수 있다. 후발 주자가 이 시장에 진입하려면 선두 기업이 정의한 컴플라이언스 비용을 먼저 부담해야 한다.

그러니 안전도 진짜지만, 장벽도 진짜다.

올해 1월, Semafor는 Anthropic이 자사의 최신 모델을 영국의 한 최고 AI 안전 연구 기관의 테스트에 제출하기를 거부했다고 보도했다. 이 사건은 더 골치 아픈 문제를 드러냈다. 모두가 모델이 검사를 받아야 한다는 데 동의하지만, 누가 어떤 기준으로 검사할 것인지에 대해서는 연구소들이 결정권을 쉽게 넘길 준비가 되어 있지 않다는 것이다.

현재 세 회사가 새로운 표준 기구 설립을 논의하며 쟁탈하고 있는 것도 바로 이 권한이다.

거꾸로 가는 시계

실리콘밸리가 감속을 이야기하기 시작했을 때, 워싱턴과 월스트리트는 AI가 멈추지 않기를 바랐다.

9월 13일, 트럼프는 이번 AI 안전 논란에 공개적으로 반응했다.

그는 두 마디를 했다. 하나는 "whoever wins AI, wins", AI를 지배하는 자가 승리한다는 것이다. 미국은 현재 중국을 앞서고 있으며, 이 우위를 계속 유지해야 한다는 것이다. 다른 하나는 최근의 AI 위험 경고를 "very negative forces"라고 부르며, 일부 사람들이 결코 일어나지 않을 재앙을 계속 부풀리고 있다고 생각한다는 것이다.

트럼프가 내세운 이유는 기술 안전과는 거리가 멀었다. 그가 AI를 바라보는 방식은 여전히 국가 경쟁이었다. 중국이 계속 달려가는 한 미국이 스스로 브레이크를 밟을 여유는 없다는 것이다.

하필 지금이 2026년 9월, 미국 중간선거까지 두 달도 채 남지 않은 시점이다.

올해 3월, The Guardian에 실린 한 기사는 AI가 이번 중간선거의 중요한 이슈가 되고 있다고 지적했다. 저자 중 한 명은 암호학자 Bruce Schneier로, 지난 30년 동안 거의 내내 기술과 안전 논쟁의 최전선에 서 있었다.

하지만 트럼프에게도 편한 선택지는 없었다.

Times의 올해 5월 보도에 따르면, MAGA 유권자들의 AI에 대한 적대감이 점점 뚜렷해지고 있다. 그들은 AI가 일자리를 빼앗고 임금을 낮출 것을 우려하며, 데이터센터가 지역의 물과 전기를 소비하는 것에도 불만을 품고 있다. AI에 계속 베팅하는 것은 트럼프가 조만간 자신의 지지 기반 내부에 쌓이고 있는 반감과 마주해야 한다는 뜻이다.

적어도 지금 그는 반대편을 선택했다. 미래에 터질지 모를 고용과 자원 갈등보다, 대중국 경쟁과 미국 증시 하락 위험이 중간선거에 더 가까이 다가와 있기 때문이다.

월스트리트도 적지 않은 문제에 직면해 있다.

지난 몇 년 동안 시장이 이 AI 기업들에 천문학적인 밸류에이션을 매길 수 있었던 것은, 사실상 계속 우상향하는 곡선을 산 것이었다. 모델은 계속 강해지고, 사용자와 매출은 계속 늘어나고, 그래서 데이터센터는 계속 짓고, GPU는 계속 사들이고, 자본 지출은 계속 쌓아 올린다.

이제 그 곡선의 맨 앞에 서 있는 CEO 몇 명이 스스로 최전선 AI의 속도를 늦춰야 할 수도 있다고 말하기 시작했다.

시장의 반응은 논쟁보다 빨랐다. Anthropic, OpenAI, SpaceX 등의 책임자들이 AI 개발 속도 조절을 공개적으로 촉구한 후, AI 관련 상장 기업들의 주가는 한때 13% 급락했다.

감속은 아직 실제로 일어나지도 않았는데, 월스트리트는 이미 가격을 다시 매기기 시작했다.

모델 성능이 더 이상 예전 속도로 치솟을 수 없다면, 뒤따르는 모든 숫자를 다시 계산해야 한다. 데이터센터를 얼마나 지어야 하는지, GPU를 얼마나 더 사야 하는지, 클라우드 업체가 매년 얼마의 자본 지출을 쏟아부어야 하는지, AI 연구소가 얼마나 더 투자를 유치할 수 있는지, IPO 가치는 얼마가 되어야 하는지.

그래서 월스트리트가 진짜 두려워하는 것은 단지 모델 출시가 몇 개 줄어드는 것이 아니다. 지난 몇 년간 AI 강세장을 떠받쳐 온 성장 속도 자체가 규제 대상이 되기 시작하는 것을 두려워하는 것이다.

더 미묘한 것은, 미국 대중은 워싱턴이나 월스트리트보다 더 멀리 떨어져 있다는 점이다.

펜실베이니아 대학교 애넌버그 공공정책센터의 여론조사에 따르면, 미국인들은 AI가 가져올 영향에 대해 대체로 비관적이며, 다수가 정부의 규제 강화를 원한다. 실리콘밸리는 통제 불능을, 워싱턴은 중국에 뒤처지는 것을, 월스트리트는 밸류에이션 하락을 걱정한다.

바로 이 소용돌이 속에서 가장 주목받는 두 AI 기업은 서로 다른 방향을 선택했다.

OpenAI는 IPO를 연기하기로 결정했다. Sam Altman도 안전 문제에 시간이 더 필요하다면 상장을 미룰 수 있다고 암시했다.

Anthropic은 여전히 앞으로 나아가고 있다. 회사는 나스닥을 선택했고, 목표 밸류에이션은 무려 2조 달러에 달한다. 엔비디아는 100억 달러 규모의 지분 인수를 검토하며 코너스톤 투자자가 되는 것을 고려 중이다. NDTV Profit의 보도에 따르면, Anthropic은 이르면 10월 중순 IPO 로드쇼 마케팅을 시작할 예정이다.

Dario Amodei는 업계 전체에 속도를 늦추라고 촉구하면서, 자신의 회사는 공개 시장을 향해 가속 페달을 밟고 있다.

하지만 자본 시장이 이를 모순으로 보지는 않을 것이다.

최전선 AI가 정말 Dario의 말처럼 미국 정부의 개입이 필요하고, 연구소 간 공동 기준 수립이 필요하며, 심지어 여러 강대국이 머리를 맞대고 조율해야 할 정도로 위험하다면, 이런 규칙 제정에 참여할 수 있는 회사는 더욱 중요해질 수밖에 없다.

규제가 강할수록 최전선 모델을 만드는 비용은 높아진다. 안전 테스트가 복잡할수록 후발 주자가 따라잡기는 더 어려워진다. 미래에 정말로 글로벌 AI 거버넌스 체계가 등장한다면, Anthropic은 십중팔구 규칙을 정하는 테이블에 앉아 있을 것이다.

그러니 '감속'이 반드시 돈을 조금 덜 버는 것만을 의미하지는 않는다.

그것은 이 산업이 마침내 아무나 쉽게 진입할 수 없을 만큼 중요해졌다는 의미일 수도 있다. 그리고 이미 맨 앞에 서 있는 회사에게 더 높은 문턱은 그 자체로 밸류에이션의 일부가 된다.

첫 번째 도미노

이번 AI Safety를 둘러싼 격렬한 논의가 어떻게 촉발되었는지, Jacob의 게시물이 1억 7천만 회의 조회 수를 기록하게 된 과정을 다시 돌아보자.

퇴사 후 그는 CNN Anderson Cooper 프로그램의 인터뷰에 출연해 그 게시물을 올리게 된 과정을 직접 이야기했다.

Jacob은 먼저 초안을 작성하고 친구들과 함께 수정했으며, 몇몇 사람들과 어떤 표현이 가장 적절한지 논의했다. 정식으로 게시하기 전에는 일부러 친구들에게 공유를 부탁하기도 했다. 당시 그의 생각은 이랬다.

"Let's try to make this a bit viral."

최대한 널리 퍼지게 해보자.

결과는 그의 예상을 훨씬 뛰어넘었다. Jacob은 나중에 AI 안전을 논하는 게시물이 이렇게 확산되는 것을 본 적이 없다고 인정했다. 그는 이런 반응을 이전에 분출되지 못했던 '잠재된 수요' 때문이라고 설명했다.

언론은 이어서 게시물의 확산 과정을 계속 추궁했다. Jacob은 게시 전에 어떤 기관과 협력하여 홍보한 적은 없다고 부인했지만, 게시 후 약 10명으로 구성된 그룹을 만들어 사람들에게 공유를 부탁했으며, 그중에는 AI 안전 단체 Encode의 설립자도 포함되어 있었다고 인정했다.

게시 전후로 그는 《AI 2027》의 저자이자 전 OpenAI 직원인 Daniel Kokotajlo와도 교류했다.

Jacob을 내부고발자로 보는 사람들은 그가 초고를 여러 번 수정하고 적극적으로 공유자를 찾은 것은 자신이 충분히 중요하다고 믿는 경고를 더 많은 사람에게 보여주기 위한 것일 뿐이라고 말할 것이다. 그를 의심하는 사람들은 같은 정황을 근거로 이 소동 자체가 정교하게 설계된 것이라고 주장할 것이다.

두 주장은 계속 맞설 수 있지만, 더 골치 아픈 문제는 Jacob, Dario Amodei, Sam Altman, 그리고 실제로 최전선 모델 곁에서 일하는 사람들이 도대체 무엇을 보았기에 이 시점에 함께 이런 이야기를 꺼내기 시작했는가 하는 점이다.

Jacob이 이 말을 1억 7천만 명 앞에 전달한 방식을 의심할 수는 있다. 하지만 전파 기법을 활용했다고 해서 그 말이 거짓이 되는 것은 아니다.

10년 전, Ethereum 창시자 Vitalik Buterin은 초지능이 결국 인류를 멸망시킬 가능성에 대해 장문의 글을 쓴 적이 있다.

그는 당시 아주 극단적인 비유를 사용했다. 인간이 초지능을 통제하려는 것은 대략 IQ 150인 사람이 IQ 6000인 지능체를 통제하려는 것과 비슷하다는 것이다. 암을 해결하라고 하면, 암에 걸릴 가능성이 있는 모든 사람을 먼저 제거하는 답을 내놓을 수도 있다.

2016년만 해도 이런 말들은 주로 블로그, 포럼, 사고 실험 속에 존재했다. 10년이 지난 지금, 그것들은 최전선 연구소 직원들의 사직서에 등장하고, 가장 큰 AI 기업 CEO들의 공개 성명에 등장하며, 정부 규제, 자본 시장, 국제 경쟁의 현실적 의제로 들어오기 시작했다.

그리고 이 문제를 정말 어렵게 만드는 또 다른 층위가 있다.

1939년 8월 2일, 물리학자 Leo Szilard가 편지 초안을 작성했고, 아인슈타인이 서명했다. 두 달 후, 이 편지는 루스벨트에게 전달되었다. 편지에는 핵분열이 엄청난 위력의 폭탄으로 만들어질 수 있으며, 나치 독일이 이미 관련 분야에서 움직이고 있으니 미국이 가능한 한 빨리 대응해야 한다는 경고가 담겨 있었다.

아인슈타인은 나중에 맨해튼 계획에 참여하지 않았고, 자신이 서명한 일을 오랫동안 후회했다. 하지만 당시 그들 앞에 놓인 문제는 잔혹했다. 어떤 기술이 위험하다고 생각하더라도, 상대가 그것을 만들고 있다고 믿는 순간 멈추는 것이 계속 나아가는 것보다 더 위험할 수 있다는 것이다.

80여 년이 지난 지금, 같은 딜레마가 다른 형태로 다시 나타났다.

Dario는 속도를 늦춰야 한다고 말하고, 트럼프는 중국이 아직 추격 중이라고 말한다. 몇몇 연구소는 함께 안전 규칙을 만들고 싶어 하면서도, 결정권을 완전히 남에게 넘기려 하지 않는다. 모두가 브레이크를 이야기하면서도, 옆 차량이 액셀에서 발을 뗐는지 서로를 지켜보고 있다.

더 중요한 것은, 최전선 모델과 가장 가까운 곳에 있는 눈들이 도대체 얼마나 먼 곳까지 보고 있는지 우리는 여전히 모른다는 사실이다.