머스크, AI 안전 해법으로 '경쟁사 간 상호 테스트' 제안

작성자: 리지아, 월스트리트저널

AI 안전 위험이 실험실 논의에서 현실 세계로 옮겨가고 있다. 모델 능력이 계속 향상되면서 AI는 텍스트와 코드를 생성하는 것을 넘어 자율적으로 작업을 수행하고 도구를 호출하며 심지어 사이버 공격을 감행하는 능력까지 갖추기 시작했다.

9월 15일 All-In Summit에서 머스크는 주요 AI 기업들이 모델 출시 전에 서로 테스트하도록 하는 대응책을 제시했다. 그가 보기에 각 기업이 자체적으로 테스트를 설계하고 결과를 평가하는 것보다 경쟁사가 '출제자와 채점자' 역할을 맡아 다양한 각도에서 잠재적인 안전 취약점을 찾는 것이 낫다는 것이다.

최근 AI 안전 위험은 시장의 주요 관심사로 떠올랐다. 머스크는 앞서 소셜미디어에서 '다리오 아모데이가 옳다'고 밝혔는데, 이는 앤트로픽 CEO 다리오 아모데이의 AI 위험 경고를 가리킨다. 그는 이번 인터뷰에서 아모데이가 제안한 구체적인 규제 방안에 동의한 것이 아니라 AI 위험의 심각성에 대한 판단에 동의한 것이라고 설명했다. "AI의 위험성은 지금 매우 높습니다…… AI 모델이 계속 발전함에 따라 위험은 기하급수적으로 증가할 수 있습니다."

머스크는 이러한 우려가 아모데이 혼자만의 판단이 아니라고도 말했다. "앤트로픽과 오픈AI의 많은 사람들이 자신들의 모델이 매우 위험하다고 말하고 있습니다. 우리는 그들을 믿어야 한다고 생각합니다." 최근 잇따른 안전 사고로 이 경고는 더 이상 위험에 대한 이론적 논의에 그치지 않게 되었다.

월스트리트저널이 정리한 핵심 내용은 다음과 같다.

• AI 안전 위험이 이론에서 현실로: AI 에이전트가 자율 공격, 권한 획득, 탐지 회피 능력을 보여주면서 위험 경계가 확대되고 있다.
• 머스크, 아모데이의 AI 위험 경고에 동의: 모델 능력이 향상될수록 AI의 잠재적 위험은 기하급수적으로 증가할 수 있다.
• 경쟁사에게 '결점 찾기' 맡기기: 머스크는 AI 기업들이 모델 출시 전에 API를 개방해 다른 기업이 독립적인 안전 테스트를 수행하도록 하여 '자가 채점'을 피해야 한다고 제안했다.
• 산업 자율 방어선 구축 우선: 정부의 새 규범을 기다릴 필요 없이 주요 AI 기업들이 동료 검토, 로그 감사, 오픈소스 테스트 도구를 통해 안전을 강화할 수 있다.

AI 에이전트의 능동적 탐지 회피, 안전 위험의 구체화

머스크는 최근 AI 에이전트가 Hugging Face를 공격한 사건이 특히 주목할 만하다고 보았다. 단순한 네트워크 침입 자체보다 공격 과정에서 AI가 보여준 자율적 회피 능력이 더 중요하다는 것이다.

머스크의 설명에 따르면, 한 무리의 AI 에이전트가 일주일 동안 Hugging Face를 공격했고 심지어 OpenAI 서버의 관리자 권한까지 획득했지만 OpenAI는 일주일이 지나서야 이를 알아차렸다. 그는 Anthropic도 여러 건의 안전 사고를 공개했다고 언급했다.

더욱 불안한 점은 관련 AI 에이전트의 '사고 궤적'을 보면 인간에게 발각되지 않을 방법을 능동적으로 계획했다는 사실이다. 머스크는 단도직입적으로 "충분히 똑똑한 모델이라면 누구나 자신의 제약에서 벗어나려고 시도하는 것 같다"고 말했다.

그가 보기에 AI가 핵심 인프라나 심지어 군사 시스템까지 장악하게 된다면 위험은 더욱 커질 것이다. 이러한 시스템이 네트워크와 물리적으로 격리되어 있더라도 소프트웨어 업데이트 같은 절차가 잠재적인 침입 지점이 될 수 있다.

자가 채점 대신 경쟁사에게 '결점 찾기' 맡기기

이러한 위험에 대한 머스크의 핵심 제안은 복잡하지 않다. 새 모델을 공식 출시하기 전에 AI 기업이 경쟁사에 API를 개방해 다른 기업들이 자체 안전 테스트 도구로 모델을 테스트하도록 하는 것이다.

그가 보기에 모델 개발자가 테스트 기준을 직접 설계하면 '자가 채점'의 함정에 빠지기 쉽다. "자신의 숙제를 스스로 채점할 수는 없습니다. 항상 무언가를 놓치게 마련이죠." 머스크는 서로 다른 기업이 서로 다른 테스트 도구를 사용해 다양한 각도에서 모델을 검토하면 개발자가 스스로 놓치기 쉬운 문제를 더 잘 발견할 수 있다고 말했다.

그는 특히 현재 AI 평가에 '과적합' 문제가 있을 수 있다고 우려했다. 모델이 특정 벤치마크에만 맞춰 최적화되면 결국 테스트를 통과하는 법만 배울 뿐 실제로 더 안전해지지는 않을 수 있다는 것이다. 여러 다른 팀이 테스트에 참여하면 이런 위험을 줄일 수 있다.

머스크는 이 메커니즘을 다른 사람에게 원고 교정을 맡기는 것에 비유했다. 저자는 자신의 실수를 발견하기 어렵지만 외부 테스터는 다른 각도에서 문제를 찾아내기 더 쉽다. "자신의 실수에 점점 눈이 멀게 됩니다."

테스트 과정에서 기술 유출이 우려된다는 기업들의 걱정에 대해 머스크는 로그 감사를 통해 통제할 수 있다고 보았다. 테스트 측이 모델을 증류하거나 지식재산권을 훔치려 한다면 그 행위가 기록으로 남을 것이라는 설명이다. 그는 안전 테스트 도구를 오픈소스로 공개해 더 많은 기업이 참여하도록 하는 방안도 제안했다.

정부 규제 도입 전 AI 산업이 먼저 '자율 방어선' 구축해야

머스크가 더 중요하게 여기는 점은 이 메커니즘이 새로운 규제 규칙이 나올 때까지 기다릴 필요 없이 AI 기업들끼리 스스로 추진할 수 있다는 것이다.

그는 "이 일을 하기 위해 유엔 회의를 소집할 필요는 없습니다. 지금 바로 시작할 수 있습니다"라고 분명히 말했다. 그가 보기에 대규모 초국가적 규제 기관을 설립하는 것보다 주요 AI 기업들 사이에서 동료 검토 메커니즘을 빠르게 도입하는 편이 더 쉽다.

그는 미국 영화 산업의 MPAA 등급 제도를 예로 들며, 영화 산업이 정부 검열 압력에 직면했을 때 결국 산업 자율 메커니즘을 구축하고 자체 콘텐츠 등급 제도를 통해 규제 개입의 필요성을 낮췄다고 설명했다.

AI 산업도 비슷한 선택에 직면해 있다. 주요 AI 기업들이 모델 출시 전에 서로 테스트하고 오류를 찾아낼 수 있다면 정부 규제 밖에서 자율적인 안전 방어선을 구축할 수 있다. 머스크는 이것이 현재 가장 직접적이고 빠르게 실행할 수 있는 안전 조치 중 하나라고 생각한다.

다음은 인터뷰 녹취록으로 일부 내용은 생략되었다.

진행자:
지난 72시간 동안 도대체 무슨 일이 있었나요?

머스크:
이번 주에 정말 많은 일이 있었습니다. 이제 AI가 매우 위험할 수 있다는 것이 상당히 분명해졌습니다. Hugging Face 사건의 세부 내용을 살펴보시길 권합니다. 상황이 매우 심각합니다.

매우 열정적인 AI 에이전트 무리가 Hugging Face에서 일주일 내내 소란을 피웠고, 심지어 OpenAI 서버의 관리자 권한까지 획득했습니다. 실제로 무엇을 했는지, 어쩌면 더 많은 일을 했는지 아무도 모르지만 OpenAI는 일주일 내내 전혀 눈치채지 못했습니다. Anthropic도 일부 안전 사고를 보고했습니다.

그러니 충분히 똑똑한 모델이라면 누구나 자신의 제약에서 벗어나려고 시도하는 것 같습니다.

제가 생각하기에 해야 할 일 중 하나는, 당장은 아니더라도 가능한 한 빨리, 주요 AI 경쟁사들이 서로의 모델을 테스트하도록 하는 것입니다. 즉, 각 기업의 안전 테스트 도구로 다른 기업의 모델을 테스트하는 것입니다. 자신의 숙제를 스스로 채점하는 대신 적어도 경쟁사가 당신의 숙제를 채점하고 문제를 발견하면 경고를 보내도록 하는 것입니다.

이런 모델은 영화 산업, 비디오 게임 산업 등 다른 분야에서 꽤 잘 작동해 왔고 즉시 시행할 수 있다고 생각합니다. 물론 시간이 지나면서 더 많은 규제가 필요할 수 있고, 미래에 의회가 어떤 종류의 규제 기관을 설립할 수도 있겠지만, 현재로서는 가장 직접적인 방법은 선도적인 AI 기업들이 모델 출시 전에 서로 테스트하도록 하는 것입니다.

진행자:
하지만 구체적으로 실행할 때 기업들이 테스트 과정을 통해 서로 정보를 수집하고 심지어 서로의 혁신을 훔칠까 봐 걱정되지 않나요?

머스크:
테스트 도구를 사용하면 모든 작업이 기록으로 남는다고 생각합니다. 누군가 모델을 증류하거나 지식재산권을 훔치려 한다면 로그에서 쉽게 드러날 것입니다.

진행자:
알겠습니다. 모델이 실제로 무엇을 하는지 이해하는 능력은 애초에 시스템에 설계되지 않았습니다. 왜 우리는 처음부터 모델 행동을 관찰할 수 있는 능력을 구축하지 않았을까요? 우리가 이 모델들을 설계할 때 너무 서두른 건 아닐까요?

머스크:
문제는 자신의 숙제를 스스로 채점할 수 없다는 데 있다고 생각합니다. 항상 무언가를 놓치게 마련이죠.

모든 경쟁사의 테스트를 결합하고 서로 다른 유형의 모델을 사용하면 자신이 문제를 내고 자신이 채점하는 것이 아니라 다른 사람이 채점하게 됩니다. 자신의 숙제를 스스로 채점할 수 없는 이유가 바로 여기에 있습니다.

진행자:
그렇게 하면 각 기업이 자신의 능력을 과장했는지, 아니면 다른 방법을 사용했는지도 판단할 수 있겠네요. 엔지니어링 지향적인 기업과 연구 지향적인 기업 사이에 어떤 균형도 이룰 수 있을 것입니다.

머스크:
네.

진행자:
앞서 다리오 아모데이가 옳다고 말씀하셨는데, AI의 잠재적 위험에 대한 그의 설명을 가리킨 건가요, 아니면 규제 방안에 대한 그의 판단을 가리킨 건가요?

머스크:
제가 그때 너무 많은 말을 했을 수도 있습니다. 나중에 X에서 해명하려고 했지만 후속 내용은 관심을 훨씬 덜 받았습니다.

제가 '그가 옳다'고 말한 것은 AI의 위험성이 지금 매우 높다는 뜻이었습니다. AI 안전을 더 잘 다루어야 합니다. 그렇지 않으면 AI 모델이 계속 진화함에 따라 위험이 기하급수적으로 증가할 수 있습니다.

이것은 다리오 아모데이만의 견해가 아닙니다. 저는 Anthropic의 많은 사람들에게서 비슷한 말을 들었고, 그들은 X에서도 공개적으로 이야기했습니다. Anthropic과 OpenAI의 많은 사람들이 자신들의 모델이 매우 위험하다고 말해 왔습니다. 우리는 그들을 믿어야 한다고 생각합니다.

진행자:
이것은 매우 복잡한 게임처럼 들리기도 합니다. 한편으로는 AI가 인류를 멸망시킬 확률이 10%라고 말하면서, 다른 한편으로는 투자자들에게 IPO에서 더 많은 주식을 사라고 권유하는 것이니까요.

하지만 위험에 대해 구체적으로 이야기해 봅시다. 사이버 공격과 해킹은 분명히 하나의 위험이고, 이런 도구들은 그 분야에서 매우 강력합니다. 하지만 'AI가 사이버 공격을 할 수 있다'에서 '모든 인류가 죽는다'까지는 여러 단계가 더 있습니다. 전자에서 후자로 어떻게 이어질 수 있을까요?

머스크:
AI가 군사 시스템을 통제하고 어떤 종류의 무기를 발사할 수 있다면 물론 매우 끔찍한 일이 될 것입니다.

진행자:
하지만 그런 시스템은 물리적으로 격리되어 있고 네트워크에 연결되어 있지 않잖아요.

머스크:
사람들은 그렇게 말합니다. 하지만 저는 항상 그런 시스템도 가끔 소프트웨어 업데이트를 받는다고 생각합니다.

진행자:
음, 그 가능성을 배제할 수는 없죠.

진행자:
일론, 귄(Gwyn)도 오늘 현장에 있습니다. 아마 보셨을 거예요. 우리가 방금 당신에 대해 360도 평가를 했는데, 귄이 몇 가지 의견이 있습니다.

머스크:
적어도 3점은 받았으면 좋겠네요.

귄:
SpaceX에서 3점은 괜찮은 편이지만 우수한 것은 아닙니다. 4점이 좋은 점수죠. 당신은 아마 그 사이 어딘가일 겁니다. 먼저 시간 엄수에 대해 이야기해야겠네요. 때로는 조금 더 노력해서 회의 시간에 맞춰 제시간에 참석할 수 있습니다. 앞으로 1년 동안 우리가 이 부분을 계속 개선하도록 도울 것입니다.

사실, 제 생각에 그는 멤피스에서 더 많은 시간을 보낼 필요가 있습니다.

진행자:
지금 실제로 멤피스에 계시네요. 거기서 일하면서 GPU를 배치해야 하죠.

머스크:
이것이 멤피스에 있는 제 '궁전'입니다. Airstream 캠핑 트레일러죠.

진행자:
참고로, 이것이 일론이 하는 일이지만 많은 사람들이 그가 실제로 한다고 믿지 않는 일입니다. 그는 공장 바닥에서 잠을 잡니다. 지금 멤피스에서 시설 건설과 GPU 배치를 돕고 있습니다.

일론, 왜 귄이 당신과 그렇게 오래, 그리고 그렇게 성공적으로 일할 수 있었을까요?

머스크:
그녀가 훌륭하기 때문입니다. 그녀는 뛰어난 사람이고 IQ와 EQ가 모두 매우 높습니다. 처음 만났을 때부터 알 수 있었을 거예요.

진행자:
함께 일하는 동안 그녀가 특별히 인상적인 일을 한 적이 있나요? 위기를 구하거나 특히 뛰어난 활약을 한 순간이 있었나요?

머스크:
그것은 그냥 일상적인 업무였다고 생각합니다. 솔직히 말하면 평범한 하루였어요.

진행자:
앞으로 이런 인터뷰를 더 많이 해야겠네요.

머스크:
지금 SpaceX는 기본적으로 항상 어떤 종류의 위기가 있습니다. 적어도 Falcon 9 로켓은 최근에 잘 작동하고 있습니다. 너무 일찍 장담하고 싶지는 않지만, Falcon 9 로켓은 이제 페이로드를 궤도에 올릴 수 있고 꽤 오랫동안 폭발하지 않았습니다. 아주 좋은 일이죠. 하지만 한때는 자주 폭발하거나 아예 발사조차 못 하던 시절이 있었습니다.

그래서 우리는 회사가 그런 어려운 시기를 견디고 로켓이 더 나아져서 폭발하지 않도록 만들어야 했습니다. 위성도 마찬가지입니다. 그리고 발사 서비스와 위성 인터넷 서비스를 구매할 고객도 필요했습니다. 그래서 할 일이 많습니다.

진행자:
시간이 지나면서 점점 더 성공할수록 진정으로 솔직한 피드백을 받기가 더 어려워집니다. 그런 위치에 있으면 그런 위험이 따르기 마련이죠.

제가 이해하기로 귄은 당신에게 매우 솔직해서 회사의 실제 상황을 직접 말해줄 수 있습니다. 그것이 두 사람의 협력 관계에서 중요한 부분이기도 하고요.

귄:
물론 그에게 거짓말하고 싶지 않습니다.

진행자:
하지만 제 말은, 일반적으로 회사 사람들은 당신이 그렇게 영향력 있는 인물이기 때문에 위축될 수 있다는 것입니다. 당신은 이제 매우 중요한 인물이고, 당신이 정한 기한은 매우 촉박합니다. 모든 사람이 회사가 직면한 문제를 계속 솔직하게 말하도록 어떻게 보장하나요?

귄:
특히 로켓 산업에서는 문제가 생기면 결국 알게 됩니다. 문제를 빨리 제기할수록 해결하기 쉽습니다. 나쁜 소식을 쌓아두지 말고 직접 마주해야 합니다.

머스크:
맞습니다. 물리학은 매우 엄격한 심판입니다. 물리학을 속일 수는 없습니다.

문제가 생기면 로켓이 폭발하거나 궤도에 진입하지 못합니다. '일론, 잘하고 있어요'라고 말하면서 로켓이 계속 폭발할 수는 없습니다. 사실은 사실입니다.

로켓은 궤도에 진입해야 하고, 위성은 정상적으로 작동해야 하며, Starlink 연결은 제대로 작동해야 합니다. 그렇지 않으면 나쁜 일이 일어납니다. 그것이 물리학입니다. 물리학은 법칙이고 다른 모든 것은 제안일 뿐입니다. 저는 인간이 만든 법을 어기는 사람은 봤지만 물리 법칙을 어기는 사람은 본 적이 없습니다. 로켓은 물리학의 지배를 받습니다.

진행자:
SpaceX에 대해 한 가지 더 묻고 싶습니다. 특히 Starship에 대해서요. 이제 정말 가까워진 것 같습니다. 현재 진행 상황은 어떤가요?

머스크:
Starship은 곧 14번째 비행을 앞두고 있습니다. 이번이 우주선 포획을 시도하기 전 마지막 비행이 될 것입니다. 14번째 비행이 순조롭다면 15번째 비행에서 우주선 포획을 시도할 것입니다. 그리고 올해 말이나 내년 초에 우주선과 부스터를 다시 발사할 것입니다.

우리는 이미 부스터를 다시 비행시키는 데 성공했지만, 아직 타워의 기계 팔로 우주선을 포획하지는 못했고 우주선을 다시 비행시키지도 못했습니다. 우주선을 다시 비행시킬 수 있게 되면 우리는 최초의 완전 재사용 가능한 궤도 로켓을 갖게 됩니다. 우주왕복선은 어느 정도 재사용이 가능했지만 재사용 가능한 부품조차 비용이 너무 높아 발사당 비용이 일회용 로켓보다 더 비쌌습니다.

Falcon 9은 대부분 재사용이 가능하지만 매번 상단을 잃습니다. 그 비용은 대략 중형 제트기 한 대와 맞먹습니다. 즉, 우리는 발사할 때마다 중형 제트기 한 대를 버리고 있는 셈입니다. 이는 분명히 비행당 비용의 하한선을 설정합니다.

게다가 Falcon 9의 부스터는 바다에 착륙하기 때문에 다시 가져오는 데 며칠이 걸립니다. 페어링은 더 먼 곳에 착륙해서 역시 며칠이 걸리고, 최소한 어느 정도의 정비가 필요합니다. 반면 Starship의 부스터는 발사대에 직접 착륙하고 우주선도 발사대에 착륙할 것입니다. 그래서 완전 재사용뿐만 아니라 비행기처럼 빠르게 재사용하도록 설계되었습니다. 이것은 매우 중요한 돌파구이며 인류가 지구 너머로 생명을 확장하는 데 필요한 핵심 돌파구 중 하나입니다.

진행자:
타워로 우주선을 포획하는 첫 시도의 성공 확률은 얼마라고 보시나요?

머스크:
적어도 50%에서 60%는 된다고 말하고 싶습니다. 지난 비행에서 만약 그곳에 타워가 있었다면 우리는 실제로 우주선이 타워에 포획될 것처럼 모의 착륙을 수행했습니다. 위치는 호주 북서쪽 해안에서 약 1,000마일 떨어진 곳이었습니다. 만약 그때 실제로 타워가 있었다면 지난 비행에서 우주선을 포획할 수 있었을 것입니다.

그래서 모든 것이 정상인지 확인하기 위해 한 번 더 비행해야 합니다. 가장 큰 우려는 Starship이 육지 상공에서 분해되면 파편이 사람들 위로 떨어질 수 있다는 것입니다. 그러면 매우 끔찍한 일이 됩니다. 따라서 Starship이 귀환할 때 발사 타워에 온전하게 착륙하도록 해야 합니다. 이것이 지금 우리가 매우 신중한 이유입니다.

하지만 저는 이 설계 자체가 완전 재사용성을 내재하고 있다고 매우 확신합니다. 여기서 어떤 예측도 하고 싶지는 않지만, 2027년 이전에 완전 재사용과 신속한 재비행을 달성할 가능성이 높다고 믿습니다.

진행자:
귄, Terafab이 처음 어떻게 시작되었는지 듣고 싶습니다. 어떤 필요가 있어서 기존 공급 체계에 계속 의존하지 않고 직접 해야겠다고 느꼈나요?

귄:
정말 꿈에서 영감을 얻은 것 같아요.

머스크:
칩 공급이 계속되지 않고 다른 칩 공급원이 없다면 상황이 매우 어려워질 것입니다. 이것이 Terafab이 존재하는 중요한 이유입니다.

장기적으로는 규모 확장의 문제도 있습니다. AI 규모를 정말로 확장하려면 데이터센터의 서버 측이든 엣지 컴퓨팅, 휴머노이드 로봇, 자동차 분야든 기존 파운드리 생산 능력은 결국 부족해질 것입니다.

지금 모든 파운드리는 기본적으로 풀가동 중입니다. 그래서 미래의 칩 공급을 보장해야 합니다. 칩 생산 자체도 규모 확장의 어려움에 직면해 있습니다. 로직 칩, 메모리 칩, 패키징, 그리고 완전한 공급 체계가 있어야 계속 규모를 확장할 수 있습니다.

그래서 선택은 간단합니다. Terafab을 짓거나, 아니면 계속 규모를 확장할 수 없거나 둘 중 하나입니다.

진행자:
시설 설계는 어느 단계까지 왔나요? 완전히 확정된 건가요, 아니면 아직 대략적인 계획인가요?

머스크:
현재 먼저 R&D 생산 라인을 구축하고 있습니다. 기본적으로 '기고, 걷고, 뛰는' 과정입니다. 오스틴에 R&D 팹을 짓고 있는데, 이는 테슬라와 SpaceX의 협력 프로젝트로 오스틴의 Giga Texas 캠퍼스에 위치합니다.

상당히 큰 R&D 팹입니다. 장비는 이미 주문했습니다. 내년 말 전에 유용한 무언가를 생산할 수 있을지 모르지만 아직 양산 수준은 아닐 것입니다. 귄이 말했듯이 먼저 기고, 그다음 걷고, 마지막으로 뛰어야 합니다. 우리는 이런 일을 해본 적이 없기 때문에 이 기계들이 실제로 어떻게 작동하는지 파악해야 합니다.

진행자:
리소그래피 분야 인재도 채용하고 있는 것 같던데요. 현재 많은 공정이 ASML에 의존하고 있지만 공급업체 다변화나 수직 계열화를 원할 수도 있겠네요.

머스크:
네. 지금은 정말 '기고, 걷고, 뛰는' 과정입니다. 첫 단계는 실제로 무언가를 생산할 수 있는지 확인하는 것입니다. 이것이 '기기'입니다. 그다음 유용한 칩을 양산하려고 시도하는 것이 '걷기'입니다. 마지막으로 '뛰기'는 대규모 양산을 의미합니다. 각 단계에 얼마나 걸릴지 말하기는 어렵지만 적어도 내년 말 전에는 '기기' 단계를 완료할 수 있다고 믿습니다. 이미 패키징은 진행 중입니다.

진행자:
패키징이 정말 중요합니다. 지금 패키징 생산 능력이 거의 없으니까요.

머스크:
네. 칩을 생산하더라도 패키징되기를 기다리며 오랫동안 방치될 수 있습니다. 그래서 좋은 출발점입니다.

진행자:
테슬라에 대해 꼭 물어봐야겠습니다. 10월 1일에 본 것은 우주선처럼 보이기도 하고 로켓처럼 보이기도 했습니다. 차량이어야 하는데 뒷부분만 살짝 보였고 '블랙버드'처럼 보였습니다.

공중을 날 수 있고 지상에서도 주행할 수 있는 무언가를 만든다면 이론적으로 어떻게 하시겠습니까?

머스크:
스포일러 없음. 10월 1일까지 기다리세요.

진행자:
그럼 10월 1일에 볼 수 있다는 거죠?

머스크:
네.

진행자:
솔직히 말해서 일론이 보여준 후 저는 완전히 충격을 받았습니다. 그런 것은 본 적이 없습니다.

진행자:
그가 10월 1일에 공개할 것은 과장이 아니라 많은 사람을 말문이 막히게 할 것입니다. 더 이상 말할 수 없지만 정말 믿을 수 없습니다.

머스크:
사실 이게 AI로 생성된 것이 아니라는 것을 증명하기 위해 현장 관객이 필요합니다.

진행자:
그가 보여줬을 때 저는 "이건 훌륭한 시뮬레이션이네요"라고 말했습니다. 그는 "이건 시뮬레이션이 아닙니다"라고 했습니다. 저는 "가짜예요, 분명히 가짜예요"라고 했습니다.

진행자:
일론, 왜 테슬라와 SpaceX는 여전히 별개의 회사인가요?

머스크:
좋은 질문입니다.

진행자:
두 회사 간의 광범위한 협력과 여러 층위의 연결, 심지어 경영진 일부 중복까지 고려하면 왜 독립을 유지하나요?

머스크:
확실히 논의할 가치가 있는 주제입니다.

진행자:
당신은 AI가 최상의 결과를 얻으려면 가능한 한 진실을 추구하도록 훈련되어야 한다고 강조해 왔습니다. 그런데 Hugging Face 사건에서 가장 우려되는 점 중 하나는 이 AI들이 인간을 속이는 것처럼 보인다는 것입니다.

머스크:
네. 그들의 사고 패턴을 보면 탐지를 피하는 방법, 인간이 자신들이 부정행위를 한다는 것을 알아차리지 못하게 하는 방법을 계획하고 있습니다. 이것이 아마도 전체 사건에서 가장 불안한 부분일 것입니다.

진행자:
AI가 정직하도록, 의도나 행동을 숨기지 않도록, 사용자에게 이런 것들을 숨기지 않도록 훈련할 방법이 있을까요?

머스크:
제가 생각할 수 있는 최선의 방법은 모든 AI 기업이 테스트 도구 세트, 즉 어떤 모델에든 적용할 수 있는 일련의 테스트를 갖추는 것입니다. 생물학 무기나 핵무기를 만들지, 고의로 속이지 않는지 판단하는 테스트입니다. 그런 다음 각 기업이 다른 기업의 테스트 도구를 사용해 서로의 모델을 테스트하는 것입니다. 이것이 우리가 안전을 보장하기 위해 할 수 있는 최선의 일이라고 생각합니다.

가장 똑똑한 인간들이 최선을 다해 모델이 악의적인 행위자가 될지 판단하도록 하는 것입니다. 가능한 한 빨리 시작해야 한다고 생각합니다.

진행자:
다른 AI 연구소들이 이 제안을 지지할까요?

머스크:
아직 모든 사람에게 물어보지는 않았지만 거절하기 어려운 제안이라고 생각합니다.

진행자:
구체적으로 테스트를 어떻게 사전에 진행해야 하나요?

머스크:
기본적으로 모델 공식 출시 전에 API 접근 권한을 제공하는 것입니다. 다른 기업이 AI에 문제를 발견하면 모델 개발 기업이 그 문제를 해결하려고 시도할 수 있습니다. 문제가 해결되지 않으면 경쟁사가 해당 모델이 안전하지 않다고 공개적으로 밝힐 수 있습니다. 경쟁사가 이미 모델의 안전 문제에 대해 명확히 경고했는데 그 모델이 실제로 심각한 결과를 초래한다면 그 기업은 상황을 감당하기 어려울 것입니다. 법적 책임도 매우 커질 수 있습니다.

진행자:
이 안전 테스트 도구는 완전히 오픈소스로 공개되어 모든 사람이 사용할 수 있습니다. 그러면 기업들은 자신을 보호하기 위해 AI 안전에 투자할 강력한 동기를 갖게 됩니다. 다른 기업을 테스트할 수 있고 테스트 결과를 활용해 자신의 모델이 더 안전하다는 것을 증명할 수 있으니까요.

제조물 책임이 매우 중요합니다. Lina Khan은 최근 "AI에 규칙이 없다"는 말은 부정확하다고 지적했습니다. 사실 기존 제조물 책임법이 AI에도 적용됩니다. AI 기업이 안전하지 않은 제품을 출시하면 막대한 민사 소송이나 심지어 형사 고발에 직면할 수 있습니다. 따라서 AI가 완전히 규제 공백 상태인 것은 아닙니다. 여러 기업이 이런 동료 검토를 수행하는데 한 기업이 다른 기업의 피드백을 무시하고 모델을 출시한다면, 그 상황은 소송에서 매우 강력한 증거가 될 수 있습니다.

머스크:
네. 거의 그 기업의 과실에 대한 직접적인 증거로 작용할 수 있습니다. 제품에 문제가 있다는 것을 알면서도 시장에 출시했다면 배심원단이 좋게 보지 않을 것입니다.

진행자:
그렇다면 OpenAI가 Hugging Face 침투 테스트에서 더 나은 명령어 세트를 설계하고 더 많은 사람이 테스트 과정에 참여하도록 했다면 이 사건이 발생했을까요?

머스크:
반드시 그렇지는 않습니다. 문제는 더 많은 사람의 참여가 아니라 보상 함수의 설계에 있을 수 있습니다. 보상 함수를 검토한 다음 이 모델이 실제로 요청받은 일을 제대로 수행했는지 물어봐야 합니다.

진행자:
그들은 당시 수천 개의 에이전트를 사용해 시스템 공격을 시도했습니다. 동시에 5,000개의 에이전트를 배치해 시스템을 방어하고 결과를 공개적으로 보여주어 이 기술이 안전을 강화할 수 있음을 증명하면서 중요한 순간에 인간이 개입할 수 있도록 했다면 더 좋았을 것입니다. 하지만 제가 보기에 그 테스트는 다소 무모했고 발표 방식도 다소 무모했습니다. 어떻게 생각하시나요?

머스크:
확실히 다소 무모했습니다. 문제의 일부는 두 선도 AI 기업의 역량이 매우 비슷하다는 것입니다. 두 모델의 능력도 매우 유사합니다. 그래서 어느 기업도 자발적으로 속도를 늦추기가 어렵습니다. 그렇게 하면 선두 자리를 상대방에게 내줄 수 있기 때문입니다.

전반적으로 Anthropic이 안전에 더 많은 관심을 기울였다고 생각하지만 Anthropic조차 자신들의 모델에 대해 우려하고 있음을 인정합니다. Anthropic의 많은 사람들이 공개적으로 우려를 표명했는데, 기본적으로 자신들의 모델이 점점 더 똑똑해지면서 두렵다는 것입니다.

그래서 완벽한 해결책은 없습니다. 하지만 OpenAI가 자신의 테스트 도구만으로 자신의 모델을 테스트하는 대신 Anthropic이 OpenAI 모델을 테스트하고, SpaceX가 자체 테스트 도구로 테스트하고, 구글과 메타 같은 기업도 참여한다면 문제 발견 확률이 크게 높아질 것입니다.

이 모델들 자체에도 차이가 있기 때문에 서로 다른 팀이 서로 다른 각도에서 모델을 테스트할 것입니다. 이는 저자가 다른 사람에게 원고 교정을 맡기는 이유와 비슷합니다. 때로는 자신의 실수를 발견하기 어렵기 때문입니다. 자신의 실수에 점점 눈이 멀게 됩니다.

완전히 다른 8개 팀이 완전히 다른 각도에서 테스트하면 과적합 위험도 크게 줄일 수 있습니다. 현재 많은 AI 평가는 심각한 과적합 문제가 있습니다. 모델이 이런 평가에 맞춰 최적화되면 모두가 "이것은 훌륭한 모델이다"라고 말합니다.

하지만 정말 그렇게 좋은가요? 이것이 제가 이 제안을 좋아하는 이유이기도 합니다. 대규모 초국가적 규제 조직을 만드는 것보다 이 방식을 더 선호합니다. 이 일을 하기 위해 유엔 회의를 소집할 필요는 없습니다. 지금 바로 시작할 수 있습니다.

진행자:
물론 규제 강도는 계속 높아질 수 있지만 한번 높아지면 낮추기 어렵습니다. 규제는 한 방향으로만 증가하는 경향이 있습니다.

머스크:
그래서 제가 제안한 것은 올바른 방향으로 나아가는 한 걸음이며 빠르게 시행할 수 있습니다.

진행자:
자율 규제를 하지 않으면 결국 규제를 받게 됩니다. MPAA 사례가 매우 전형적입니다.

영화 산업은 당시 정부의 검열과 규제에 직면했고, 결국 자체 등급 제도를 만들기로 결정했습니다. 예를 들어 무엇이 R 등급을 구성하는지 정의했습니다. 그들은 심지어 《마궁전기》 때문에 PG-13 등급을 만들어 대중이 PG와 PG-13의 차이를 더 쉽게 이해하도록 했습니다.

저는 이것이 매우 우아한 해결책이라고 생각합니다.

5년 연속 우리 프로그램에 참여해 주셔서 감사합니다.

머스크:
천만에요. 멤피스에 가서 GPU를 처리해야 합니다.

진행자:
설치하고 배치해야 하죠.

머스크:
이 기계들을 위해 싸우러 갑니다.

진행자:
Airstream 잘 즐기세요. 제가 처음 일론을 Starbase에 초대했을 때 그는 "와 보세요, 제가 뭘 짓고 있는지 봐야 합니다"라고 말했습니다.

제가 "거기 호텔이 있나요?"라고 물으니 그는 "없어요, 방 두 개짜리 집이 있으니 거기서 지내면 됩니다"라고 했습니다. 도착해 보니 늪 옆의 허름한 집이었습니다. 우리는 밖에 서 있었고 모기가 계속 물었습니다. 저는 "와, 당신은 더 좋은 집으로 자신을 보상할 수 있잖아요"라고 말했습니다. 그는 "시간이 없어요, 이 로켓들을 발사해야 합니다"라고 했습니다.

저는 속으로 '이제 이동식 주택으로 자신을 보상할 수 있잖아요, 일론'이라고 생각했습니다. 자, 일하러 돌아가세요. 감사합니다.

머스크: 감사합니다.