AI 가속 vs 감속: 젠슨 황과 아모데이의 대립

원문 저자: 쑤양

원문 편집: 쉬칭양

원문 출처: 텐센트 테크

최첨단 AI가 계속 가속할 것인가, 아니면 브레이크를 밟을 것인가가 실리콘밸리에서 가장 뜨거운 논쟁거리가 되고 있다.

이 논쟁을 둘러싸고 실리콘밸리의 거물들이 진영을 나누기 시작했다. 다리오 아모데이, 샘 올트먼, 일론 머스크, 데미스 허사비스가 '일시 중단파'를 형성했다. 젠슨 황은 확고한 '가속파'로서 'AI 종말론'이 과학적 근거가 없다고 비판한다. 얀 르쿤은 아모데이를 계속 조롱하며 이렇게 말했다. "(아모데이는) OpenAI에 있을 때부터 GPT-2가 너무 위험해서 오픈소스로 공개하면 안 된다고 생각했는데, 나는 그때 이미 그를 비웃었다. 이제 여러분도 계속 비웃어도 된다."

이에 비해 마크 저커버그와 사티아 나델라 등은 비교적 중립적인 태도를 보이고 있다.

거물들이 각자 진영을 선택했다는 것은 실리콘밸리가 최첨단 모델의 일시 중단에 대한 합의를 이루지 못했다는 뜻이며, 이는 각 기업의 AI 산업 사슬에서의 생태적 지위 차이에서 비롯된다. 모델 계층의 선두 주자들은 서로 다른 이유로 일시 중단을 외칠 수 있지만, 수천억 달러 규모의 컴퓨팅 파워 주문을 보유한 오라클, AWS, 그리고 먹이사슬 최상위에 있는 엔비디아 같은 기업을 멈추게 하려는 시도는 긍정적인 반응을 얻을 수 없다.

워싱턴에서는 '일시 중단' 요구가 지지를 받지 못했을 뿐만 아니라 일련의 의문을 불러일으켰다.

"제게는 이것이 약간 트로이 목마처럼 느껴집니다(It feels a little bit to me like a bit of a Trojan horse)." JD 밴스가 인터뷰에서 한 이 말은 사실 워싱턴의 실제 시각을 반영한다. 목마를 만드는 기업이 계속해서 문을 더 좁히라고 요구할 때, 그 문이 과연 어떤 기업에게 적합한 것인지 검토해야 한다는 것이다.

일시 중단, 경고, 그리고 사직서 한 통

이 논쟁의 도화선은 앤트로픽 연구원 제이콥 콕슨의 사직이었다.

그는 이전에 OpenAI와 앤트로픽에서 3년간 사전 훈련 연구를 수행하며 최첨단 모델 훈련에 직접 참여했다. X에 올린 장문의 글에서 그는 거의 예의를 차리지 않았다. "두 회사 모두 책임감 있게 행동하지 않았습니다. 그들은 스스로 개선할 수 있는 초지능을 향해 곧장 돌진하며 우리의 생명을 담보로 걸고 있습니다."

그는 연구소 내부 사람들이 AI가 10년 안에 모든 인류를 죽일 수 있다고 진심으로 믿고 있으며, 이것은 결코 홍보용 연기가 아니라고 단언했다. 많은 동료들이 이미 현재 단계를 '중대한 시기', '종말'이라고 표현하기 시작했다. 콕슨은 곧 귀속될 예정이었던 지분까지 포기했다. 그는 앤트로픽에 4개월밖에 근무하지 않았는데, 회사 규정상 6개월이 되어야 지분을 행사할 수 있었다.

앤트로픽 전 연구원 제이콥 콕슨(Jacob Coxon)

이어서 앤트로픽의 정렬 과학 담당 에반 휴빈저가 공개적으로 답했다. "제이콥의 말이 맞습니다. 우리는 AI가 모든 인류를 죽일 수 있다는 것을 진지하게 믿습니다. 개인적으로 10년 안에 그 확률이 10%를 넘는다고 생각합니다. 앤트로픽은 최선을 다하고 있지만, 아직 초지능 정렬에 대한 명확한 계획을 마련하지 못했고, 올바른 궤도에 오르지도 못했습니다."

이 두 발의 총성은 주로 연구소 내부에서만 끓어오르던 우려를 대중 앞에 직접 드러냈다. 이러한 배경에서 앤트로픽 창립자 겸 CEO 다리오 아모데이는 곧바로 장문의 글을 발표하여 '최첨단 연구 속도 조절'을 체계적으로 주장했다. 그는 더 이상 '안전에 대한 투자 확대'만을 말하지 않고, 안전 메커니즘이 따라잡을 시간을 벌기 위해 능력 도약 속도를 능동적으로 통제할 것을 명확히 요구했다.

그는 3단계 방안을 제시했다. 먼저 앤트로픽이 직원급 권한을 가진 독립 평가자를 일방적으로 도입하고, 다음으로 민주주의 국가의 AI 기업들이 공동 안전 기준과 능력 성장 상한선을 마련하도록 추진하며, 마지막으로 글로벌 조정을 시도하는 것이다.

샘 올트먼, 일론 머스크, 데미스 허사비스가 곧 공개적으로 호응하며 '일시 중단파'를 형성했다.

제이콥 콕슨과 다리오 아모데이의 '감속' 주장이 나오기 전부터, 요슈아 벤지오와 제프리 힌튼 같은 'AI 대부'들은 계속해서 위험에 주목할 것을 촉구해 왔다.

콕슨의 사직에 대해 벤지오는 최첨단 AI 연구소의 과학자들이 대중보다 최신 모델의 능력을 더 일찍 볼 수 있기 때문에, 그들의 위험 판단은 진지하게 받아들여질 가치가 있다고 말했다.

동시에 벤지오는 현재 AI 시스템이 이미 해킹 공격과 설득 능력을 갖추고 있으며, 인류의 이익을 해치는 데 사용될 경우 심각한 결과를 초래할 수 있다고 구체적인 예를 들어 설명했다. 그는 또한 AI가 더 긴 시간 범위의 계획 능력을 갖추게 되면 이러한 위험이 더욱 확대될 수 있다고 우려했다.

BBC가 AI가 향후 10년 안에 '모든 인류를 죽일' 확률이 10%를 넘는다는 질문을 하자, 제프리 힌튼도 이 수치가 "비합리적이지 않다"고 말하면서도, 인류가 이전에 '곧 우리보다 더 똑똑해질 수 있는 종의 존재'에 직면한 적이 없기 때문에 신뢰할 만한 추정치를 제시하는 방법을 아무도 모른다고 강조했다.

힌튼은 AI가 미래에 위험한 생물학적 바이러스, 컴퓨터 바이러스 설계 및 대규모 사이버 공격에 사용될 수 있다고 본다. 따라서 인류는 위험이 통제 불능 상태가 되기 전에 효과적인 통제 방법을 찾아야 한다.

실리콘밸리의 새로운 '일시 중단론' 옹호자들과 달리, 'AI 대부'들은 직접 브레이크를 밟기보다는 위험에 주목하고 위험 통제 메커니즘을 모색할 것을 촉구하는 데 더 가깝다. 또한 입장 면에서 학계의 의견과 제안은 더 순수한 반면, 최첨단 연구소의 제안은 겉으로는 '인류를 위하여'라는 라벨을 붙이더라도 상업적 고려에서 100% 자유롭기 어렵다.

이것이 바로 JD 밴스가 '일시 중단론'이 트로이 목마와 같다고 말한 이유다.

분열과 진영 선택

'가속파', '감속파', '중도파' 진영. 출처: 뉴욕타임스

9월 15일, 여러 기술 기업 수장들이 세일즈포스 드림포스 컨퍼런스에서 잇따라 발언하면서 이 논쟁은 더욱 직접적인 의견 대립으로 변모하기 시작했다.

이날 다리오 아모데이, 젠슨 황, 샘 올트먼 모두 AI 안전에 대해 언급했지만, 개발 속도, 안전 책임, 기업이 취해야 할 조치에 대해 서로 다른 답변을 내놓았다.

아모데이는 세일즈포스 CEO 마크 베니오프(Marc Benioff)와 함께 무대에 올라 AI 기업이 자체 행동을 통해 더 높은 안전 기준을 수립해야 한다고 다시 강조했다. 그는 기업이 더 엄격한 안전 조치를 능동적으로 취하는 것이 업계 전체를 발전시키는 방법이 될 수 있다고 본다.

다시 말해, 아모데이의 태도는 업계 전체의 감속을 촉구하는 것에서 기업이 자체적으로 안전 가드레일을 설치하는 것으로 전환되기 시작했다.

젠슨 황은 "새로운 법도, 새로운 규제도 필요하지 않다"고 말했다. 그가 보기에 속도와 안전은 양자택일의 관계가 아니며, 기업은 가능한 한 빨리 모델 개발을 추진할 수 있다. 통제력을 상실하거나 제품의 안전을 보장할 수 없다는 사실을 발견하면 잠시 멈추고 문제를 해결해야 한다는 것이다.

베니오프의 태도는 더 개방적이고 자율성을 강조했다. 그는 기업이 속도를 늦춰야 한다고 생각하면 늦추고, 빨리 가야 한다고 생각하면 빨리 가야 하며, 동시에 자신의 결정에 책임을 져야 한다고 말했다.

OpenAI 창립자 겸 CEO 샘 올트먼은 드림포스 현장에서 OpenAI는 물론 AI 업계 전체가 대중에게 중대한 피해를 주지 않고 안전하게 발전할 수 있다고 매우 확신한다고 말했다. 그는 또한 외부에서 자신의 견해를 업계 전체의 AI 개발 속도 저하를 지지하는 것으로 이해하는 것에 실망감을 표했다.

다시 말해, 올트먼도 전환하기 시작했다. 자신이 말하고자 했던 것은 업계 감속 촉구가 아니라 안전 및 모니터링 작업이 능력 향상보다 선행되어야 한다는 점을 강조한 것이다.

마크 저커버그는 한 회사의 안전 조치가 다른 AI 기업들도 동시에 속도를 늦춰야 한다는 전제 위에 세워져서는 안 된다고 주장한다. 그는 독립 평가 기관과 외부 고문을 도입하여 모델 안전성을 검증하는 것이 업계 모범 사례라고 생각한다. 그는 또한 메타가 이전에 다른 기업들이 AI 개발 속도 저하에 대한 합의를 먼저 이루기를 기다리지 않고 Muse AI 도구 개발을 자체적으로 늦춘 적이 있다고 밝혔다.

마이크로소프트 CEO 사티아 나델라의 태도는 어느 정도 올트먼과 일치한다. 가드레일 설치를 장려하고 충분한 경쟁도 장려한다.

"우리가 먼저 해야 할 일은 인류를 위해 봉사하고 기술이 인간의 통제 아래 있도록 보장하는 것입니다. 동시에 AI 기술의 광범위한 확산이 가장 중요하며, 선택권과 경쟁이 있어야 합니다. 안전은 진지하게 다루어야 하지만, 신비화하지 말고 엔지니어링적이고 투명한 방식으로 해결해야 합니다." 나델라가 9월 15일 올인 서밋 2026에 참석하여 한 말이다.

이들 기업가 외에도 워싱턴의 목소리가 더해졌다.

도널드 트럼프가 젠슨 황에게 직접 전화를 걸어 AI 산업의 지속적인 발전에 대한 지지를 공개적으로 표명한 후, 미국 대통령 과학기술자문위원회 공동 의장 데이비드 색스(David Sacks)는 기술 기업들이 최첨단 AI를 계속 추진할 수 있다고 말하면서 일부 기업이 '감속'을 주장하는 동기에 의문을 제기했다.

누가 규칙을 정할 것인가?

논의가 확대되면서 논쟁은 AI 위험 자체에서 더 나아가 최첨단 AI의 안전 기준을 기업이 자체적으로 정해야 하는지, 아니면 정부와 독립 기관이 개입해야 하는지로 확장되었다.

블룸버그가 소식통을 인용해 보도한 바에 따르면, 앤트로픽, 구글, OpenAI는 이전에 AI 산업 표준 기관 설립을 논의한 적이 있다.

7월에 데미스 허사비스는 미국 주도의 AI 표준 기관 설립을 제안하는 글을 발표했다. 운영 방식은 미국 금융산업규제기구(FINRA)와 유사하다. 이 기관은 첨단 AI 모델이 공식 배포되기 전에 테스트를 수행하여 해당 안전 기준을 충족하는지 판단할 수 있다.

허사비스의 구상에 따르면, 이 기관은 완전히 정부 주도가 아니라 민관 협력 모델을 채택해야 한다. 정부는 감독 역할을 하고, AI 업계가 자금을 제공하며, 독립적인 최고 기술 전문가와 오픈소스 커뮤니티 대표를 참여시킨다.

허사비스는 모델이 현실 세계에 진입하기 전에 독립적인 안전 점검을 추가하려고 시도했는데, 이는 미국 정부가 6월 초에 발표한 규제 논리와 비교적 잘 맞는다. 기업은 모델 공개 출시 전에 자발적으로 정부 평가를 받을 수 있으며, 출시 전 최대 30일의 접근 기간을 제공할 수 있고, 강제 승인이나 출시 허가 제도를 명확히 두지 않는다는 것이다.

비교적 극적인 것은 이후 Fable 5와 Mythos 5가 출시될 때 이 절차를 따르지 않았지만, 매우 강력한 네트워크 공격 및 방어 능력을 갖춘 것으로 밝혀져 결국 미국 상무부 산업안보국(BIS)에 의해 수출 통제 형태로 잠시 중단되었다는 점이다.

하지만 그럼에도 불구하고 정책의 태도는 안전 가드레일 설치만 요구했을 뿐 감속에 대한 입장 표명이나 지침을 내놓지는 않았다.

허사비스와 유사한 견해를 가진 사람은 OpenAI 수석 과학자 야쿠브 파초키(Jakub Pachocki)다. 그도 9월 초에 안전 기준 공유와 AI 추가 발전을 위한 국제적 조정이 현재의 우선순위가 되어야 한다고 강조했다.

아무도 실제로 브레이크를 밟지 않았다

지금까지 이 논쟁은 최첨단 AI 기업들의 개발 속도를 실제로 바꾸지 못했다.

앤트로픽, OpenAI, 구글, xAI 등 기업들은 여전히 모델 연구 개발을 계속 추진하고 있으며, 컴퓨팅 파워, 데이터 센터, AI 인프라를 둘러싼 경쟁도 이 논쟁 때문에 멈추지 않았다. 자본 시장에서는 다른 변화가 나타났다. 앤트로픽은 올해 IPO를 계속 준비하고 있는 반면, OpenAI는 IPO 계획을 2027년으로 연기했다.

아모데이는 업계 전체를 멈추게 하여 앤트로픽과 함께 모델 능력의 경계 초월에 가드레일을 설치하는 해결책을 찾으려고 하는데, 이는 어느 정도 '남의 호의로 생색내기'로 이해될 수 있다.

이것이 바로 아모데이가 '흠잡을 데 없는 천사인 척한다'는 꼬리표가 붙는 이유다.

이 위험 통제 주제에 대해 젠슨 황이 대표하는 견해가 사실 현재 상황에 더 부합한다. 기업이 우려가 있거나 문제를 발견하면 얼마든지 자체적으로 해결책을 모색하고, 효과적인 방안을 찾아 업계와 공유할 수 있다는 것이다.

100명으로 구성된 팀과 1000명으로 구성된 팀이 함께 멈추는 것은 합의의 기반이 전혀 없다. 심지어 아모데이 자신도 자신만 멈추면 OpenAI 같은 경쟁자에게 추월당할 가능성이 높다는 것을 잘 알고 있다.

더 중요한 것은 기업 지배구조 차원의 분열이다. 앤트로픽과 OpenAI는 모두 공익기업(Public Benefit Company)으로서 '인류의 미래를 위해 단기적 재정적 이익을 포기한다'고 외칠 수 있고, 투자자들에게 '이 점은 일찍부터 합의했다'고 말할 수 있다. 하지만 구글, 마이크로소프트, 메타 같은 상장 기업의 경영진은 2차 시장 주주들에 대해 법적 신탁 의무를 진다.

이렇게 이해관계가 다른 두 유형의 기업이 이 점에 대해 합의에 도달할 가능성도 그리 크지 않다.

또 하나 간과될 수 있는 세부 사항이 있다. '일시 중단론'이 나오기 전에 앤트로픽과 OpenAI는 각각 가장 강력한 모델을 출시했다. 하나는 Fable 5.1이고, 다른 하나는 GPT-6 Astra다.

여러 곳의 촉구 속에서 다른 기업들의 새 모델은 과연 출시될 것인가?