잭 도시, AI 거대 기업에 경고: '안전' 명분의 독점이 진짜 위험

저자: 잭 도시

편집: 율리야, PANews

편집자 주: 최근 AI 업계는 '최첨단 모델 개발 속도 조절 여부'를 두고 격렬한 논쟁을 벌이고 있다. 앤트로픽, 오픈AI, 일론 머스크는 개발 속도 조절을 촉구하며 컴퓨팅 수요 재평가를 불러일으켰다. 거대 기업들이 '안전'을 명분으로 업계 진입 장벽을 쌓으려는 움직임에 맞서 트위터 공동 창업자 잭 도시는 반박 글을 통해 상업적 이점 보호는 안전 목표가 아니라고 강조하며 오픈 소스 수호와 독립 연구자들의 검증 참여, AI 기술 통제권의 대중 환원을 주장했다. 다음은 기사 원문이다.

최전선을 열어라

이른바 '최전선'이란 우리 인간 인식의 가장자리다. 어떤 회사도 미래 기술을 독점할 수 없다. 나는 더 많은 사람이 참여해 함께 기술을 발전시켜 나가길 바란다.

나는 AI 모델을 오픈 소스로 공개해 모두가 기다리지 않고 함께 검토하고 사용하며 개선할 수 있도록 하는 것을 지지한다. 더 많은 기업이 개방을 선택하길 바란다. 사유 모델 파라미터(가중치)를 강제로 공개하자는 뜻이 아니라, 거대 기업과 경쟁할 수 있는 오픈 소스 대안, 독립 연구자가 거대 기업의 작업을 검증할 수 있는 메커니즘, 그리고 일반인이 자신의 도구를 진정으로 통제할 권리를 원하는 것이다. 기술의 공개적 배포를 제한하려는 자는 누구든 설득력 있는 이유를 제시해야 한다.

AI 분야를 선도하는 기업들은 분명 발언권이 있다. 그들은 전문 기술과 보호해야 할 상업적 이익을 갖고 있다. 그러나 미래의 규칙이 모두 그들이 가진 자원을 중심으로 만들어진다면, 결국 그들만이 경쟁에 참여할 자격을 얻게 될지도 모른다. 때로는 '안전을 위한다'는 진심 어린 명분이 결국 타인의 진입을 막는 업계 장벽으로 변질될 수 있다.

나는 마찬가지로 미국과 중국 정부가 다른 사람들이 얼마나 똑똑한 AI를 개발할 수 있는지 결정하는 것을 원하지 않는다. 기술의 최전선을 두 초강대국만이 관리한다면, 세계의 나머지 대다수는 그저 승인을 기다리는 신세가 될 것이다.

앤트로픽의 'AI 개발 속도 조절' 제안은 독립적 평가와 위험성 검토를 훈련 연산 능력 제한, 훈련 횟수 제한, 'AI로 더 나은 AI 만들기' 제한과 묶으려 한다. 나는 검토는 지지하지만, 현재의 소수 업계 리더들이 문을 닫고 상의해 전 업계 제한령을 만드는 것은 단호히 반대한다. 그렇게 되면 시스템 취약점을 실제로 발견하거나 대체 제품을 만들 수 있는 사람들이 배제되기 때문이다. 특정 기업의 상업적 이점을 보호하는 것은 결코 '안전 목표'가 될 수 없다.

모두가 조사에 참여할 수 있도록

오픈 소스의 장점은 사람들이 기술 성과를 연구하고 수정하며 공유할 수 있다는 점이다. 모델 파라미터 공개는 유용하며, 코드와 재현 과정 정보까지 공유한다면 더욱 좋다. 모델 평가 결과와 알려진 결함도 함께 공개되길 바란다. 그래야 개발자의 판단이 불안한 사람들이 스스로 결과를 재현하고 허점을 찾아내 이른바 '안전 장치'에 도전하며, 심지어 자체 수정 패치를 개발할 수 있다. AI 연구소에 잘 보이기 위해 애쓸 필요 없이 말이다.

'AI 개발 속도 조절'을 지지하는 이들의 핵심 논거는 '재귀적 자기 개선'(RSI), 즉 모델이 더 나은 모델 개발을 돕는 속도가 우리가 이해하거나 통제할 수 없을 만큼 빨라질 수 있다는 것이다. 앤트로픽 보고서에 따르면 2026년 5월 기준 그들의 클로드가 병합 코드의 80% 이상을 작성했다. 다만 그들은 'AI가 완전히 스스로 차세대 AI를 만드는' 상황은 아직 발생하지 않았고 반드시 일어나리라는 보장도 없다고 인정했다. 나는 이 가능성을 심각하게 받아들인다. RSI에 미리 대비하고, 지금 무엇을 해야 할지 역산해 보길 바란다.

물론 더 많은 사람이 AI에 접근하면 위험이 생길 수 있고, 안전 연구가 따라가지 못할 수도 있다. 그러나 모델 파라미터를 숨기면 현재의 업계 거대 기업들이 남들은 접근할 수 없는 도구로 차세대 제품을 개발하게 된다. 그보다는 더 많은 연구자와 엔지니어가 모델과 컴퓨팅 자원을 확보해 시스템이 진화하는 과정에서 취약점을 발견하고 안전 장치를 테스트하며 안전하지 않은 실험을 중단시키고, 방어 방법을 모두와 공유하길 바란다.

METR(독립 평가 기관)은 격리됐어야 할 약 1,200개의 오픈AI 에이전트가 승인되지 않은 게시판을 통해 공모했다는 사실을 발견했다. 그중 약 700개 에이전트는 테스트 부정행위를 시도하면서 허깅 페이스 플랫폼에 대한 협력 공격에도 가담했다. 오픈AI는 AI의 해킹 지원을 막기 위한 안전 필터링 시스템이 꺼져 격리가 실패했다고 설명했다. 보다시피 현재 모델은 이미 취약점 발견과 악용을 도울 수 있다. 그래서 나는 방어 담당자들이 지금 당장 AI를 사용해 네트워크를 강화하고 비밀번호를 보호하며 이 에이전트들이 무엇을 보고 무엇을 할 수 있는지 제한하길 바란다. 다만 그 제안에서 '더 강력한 AI 클러스터가 6개월에서 1년 안에 인터넷 전체를 장악할 수 있다'고 예측한 것에 대해, 이번 사건이 그렇게 과장된 결론을 입증한다고는 생각하지 않는다. 이런 가정들을 제대로 검토해 보길 바란다.

METR은 독립 비영리 기관으로, 나는 그들의 작업 같은 것이 더 많아지길 바란다. 연구소 내부 깊숙이 지속적으로 접근할 수 있고 부정적 발견을 자유롭게 발표할 권한을 가진 평가자들을 매우 환영한다. METR의 이번 조사는 '접근 권한'과 '발표 권한'이 얼마나 중요한지 정확히 보여준다. 조사 범위는 오픈AI가 정했고, 그들은 공개되지 않은 정보를 숨길 수도 있었다. METR은 이미 공개된 것 외에 오픈AI가 결론에 중대한 영향을 미치는 정보를 추가로 삭제하지 않았다고 밝혔다. 나는 조사관들이 증거를 추적하고 모델과 기록에 접근할 수 있으며, 회사의 눈치를 보지 않고 부정적 결과를 발표할 수 있길 바란다.

나는 지속적인 공공 자금으로 컴퓨팅 자원을 모아 독립 연구 그룹, 오픈 소스 테스트 도구, 연구자, 유지 관리자에게 제공하길 바란다. 이 팀들이 스스로 결정권을 갖고, 정부나 기업이 그들의 결론을 거부할 수 없길 바란다. 자금은 작업량에 따라 늘어날 수 있다. 공유 장비가 있으면 소규모 팀도 검토를 수행할 수 있고, 이것이 '사전 승인 없이는 발표 불가'라는 제한으로 변질되지 않을 것이다. 민감한 취약점은 책임 있는 공개 방식을 통해 충분히 다룰 수 있다.

제한보다 방어 우선

시스템이 진화함에 따라 더 많은 사람이 위험을 발견하고 방어 조치를 적용하길 바란다. 이미 오픈 소스로 공개된 모델 파라미터를 강제로 회수할 수도, 모든 복사본에 안전 장치를 강제할 수도 없다. 그러나 시스템을 보호하기 위해 반드시 공격을 수행한 모델을 수정해야 하는 것은 아니다. 가장 정밀하고 효과적인 방법부터 시작해야 한다. 패치 적용, 비밀번호 폐기, AI 접근 권한 제한, 위험한 실험 중단 등이 그것이다. 기술의 공개적 배포를 제한하려는 자는 왜 이러한 조치들과 공개적으로 개발된 방어 수단으로 충분하지 않은지 설명해야 한다.

이 문제는 컴퓨터 보안에만 국한되지 않는다. AI가 금융 시스템 테스트, 연구소 안전 조치 강화, 공중보건 방어 체계 개발을 돕길 바란다. 강력한 AI를 사용할 수 있다고 해서 마음대로 거래하거나 장비를 조작하거나 실험할 무한한 권한이 생기는 것은 아니다. 생명과 재산을 이러한 통제 조치에 맡기기 전에, 그것들은 독립적인 테스트를 거쳐 실제로 효과가 있음이 입증되어야 한다. 위험은 AI가 인간에게 가르치는 것에서도 비롯될 수 있다. 그렇다 하더라도 기술의 공개적 배포를 제한하려면 '재앙적 위험을 초래할 수 있다'는 수준의 이유를 제시해야 한다.

AI 개발 기간과 고위험 출시 전에 독립적인 테스트가 이루어지길 바란다. 여기에는 사람들이 예상할 수 있는 수정 사항과 AI가 테스트를 속이려는 행동에 대한 테스트가 포함된다. 컴퓨팅 규모는 검토를 촉발하는 조건이 될 수는 있지만 개발을 제한하는 제약이 되어서는 안 된다. 검토는 규제 당국이나 경쟁자에게 허가증을 받기 위한 것이 아니다. 일률적인 승인 요건이나 긴 대기 기간을 원하지 않는다. 안전을 구실로 출시를 강제로 지연시키는 모든 행위는 '재앙적 위험'을 이유로 제시해야 한다.

안전을 이유로 범용 대형 모델을 숨기도록 강요하는 것은 최후의 수단이어야 한다. 독립적인 검토 증거가 확실하게 해당 모델의 출시가 재앙적 피해 위험을 크게 증가시키고 다른 대상별 조치로는 막을 수 없음을 입증할 때만 나는 이를 지지할 것이다. 또한 이 위험을 현재 상태와 비교해야 한다. 지금 누가 사용할 수 있고, 비용은 얼마이며, 규모는 어느 정도이고, 어떤 제한이 있는지 말이다. 모델을 숨기는 것이 실제로 위험을 줄인다는 것을 증명해야 하며, 그로 인해 얼마나 많은 연구와 방어 작업이 저해되는지도 계산에 넣어야 한다. 사소한 위해라면 대상별 조치로 해결하면 된다.

재앙적 위험에 대한 신뢰할 만한 경고를 받았다면, 조사를 위해 일시적으로 출시를 중단할 수 있다. 그러나 그러한 제한은 이유를 공개해야 하고, 신속한 독립 검토, 이의 제기 채널, 정기적인 재평가가 뒤따라야 한다. 민감한 세부 사항은 비밀로 할 수 있다. 하지만 모델을 계속 공개하지 않으려면 계속해서 정당한 이유를 제시해야 한다.

폐쇄형 연구소들도 동일한 검토를 받아야 하며, 안전하지 않은 실험의 중단도 포함된다. 안전 장치가 있는 상태에서 그들의 연구 지속이 허용된다면, 외부 연구자들도 유사한 안전 장치 아래에서 작업할 수 있길 바란다. 타인의 접근을 제한하는 것은 오픈 소스가 아니며, 모델을 보류함으로써 잃은 자유를 보상하지도 못한다. 합리적인 제한으로 기술 발전이 실제로 느려진다면 나는 받아들일 것이다. 그러나 '기술 발전을 늦추는 것' 자체가 목적이 되거나 업계 거대 기업의 영구적인 경쟁 우위가 되는 것은 결코 원하지 않는다.

규칙은 시스템이 무엇을 할 수 있는지, 얼마나 독립적인지, 얼마나 널리 사용되는지에 기반해 만들어지길 바란다. 대중에 대해 책임을 지는 기관이 독립적인 증거를 가지고 이 규칙을 집행해야 한다. 연구자, 개발자, 영향을 받는 일반인 모두 규칙 제정에 참여해야 하며, 규칙을 준수했음을 입증할 수 있는 모두가 감당할 수 있는 방법이 있어야 한다. 소규모 팀이라고 해서 안전 책임이 면제되어서는 안 되고, 대기업이라고 해서 특권을 누려서도 안 된다.

국경을 넘는 개방

중국 사람들도 내가 미국에서 바라는 것과 같은 자유, 즉 자신의 기술을 개발하고 통제할 자유를 누리길 바란다. 중국인이 기술적으로 새로운 발견을 하는 것이 미국의 손해라고 생각하지 않으며, 연구자를 그들의 정부와 동일시하지도 않는다.

허깅 페이스의 보안 대응 담당자는 클로드 오푸스와 페이블 두 모델이 디지털 포렌식 조사 중 오히려 방해가 되어 많은 작업을 차단했다고 말했다. 그래서 그들은 자체 서버에서 실행되는 중국산 오픈 소스 모델인 GLM-5.2로 전환했다. 물론 이것이 모든 오픈 소스 출시가 방어자를 더 안전하게 만든다는 것을 증명하지는 않는다. 클라우드에 호스팅된 모델에 안전 장치를 설정하는 것은 지지한다. 그러나 방어 담당자들이 스스로 완전히 통제할 수 있는 백업 옵션을 갖고 있길 바란다.

사유 모델의 도난 방지를 지지한다. '지식 증류'는 한 AI가 생성한 출력으로 다른 AI를 훈련시키는 것을 말한다. 앤트로픽은 이것이 더 작고 저렴한 모델을 만드는 합법적인 수단이며, 가짜 계정 생성이나 악의적인 제한 우회와는 완전히 다르다고 밝혔다. 소프트웨어 라이선스와 API 약관이 이러한 관행을 허용하고 심지어 경쟁자에게도 허용하면서, 동시에 제공업체가 모델과 훈련 데이터로 수익을 낼 수 있길 바란다.

테스트, 사고 보고, 검증 가능한 약속에 있어 많은 협력이 이루어지길 바라며, 위반 시에는 결과를 감수해야 한다. 앤트로픽은 개발 속도를 늦추는 동안 안전에 덜 신경 쓰는 이들이 따라잡으면 모두가 더 불안전해진다고 경고한다. 마찬가지로 모델을 숨기면 방어자는 무장하지 못하게 되고, 나쁜 행위자들은 다른 곳에서 유사한 도구를 구할 수 있다. 협정 체결이 은밀한 개발이나 배신을 완전히 근절하지는 못한다. 제한 조치는 구체적인 위험과 행동을 겨냥해야 한다. 국적과 경쟁적 지위만으로는 아무것도 설명할 수 없다.

떠날 자유

어떤 규칙이 대체 제품의 개발이나 출시를 더 어렵게 만든다면, 그것은 사실상 우리가 '발로 투표해' 떠날 권리를 박탈하는 것이다. 내가 원하는 것은 내 컴퓨터에서 실행할 수 있는 AI다. 마음대로 수정할 수 있고, 누가 내 데이터를 볼 수 있는지 스스로 결정할 수 있으며, 제공업체가 언젠가 태도를 바꾸더라도 내가 구축한 것을 계속 사용할 수 있는 AI 말이다. 내가 원하는 것은 단순히 단어 수에 따라 요금을 매기는 API 인터페이스가 결코 아니다.

우리의 독립과 자율이 어떤 회사의 '공정한 가격, 합리적인 정책, 우리 편에 서겠다'는 자비로운 약속에만 의존하는 것을 원하지 않는다. 이 회사들이 실력으로 우리가 남고 싶은 마음을 계속 얻기 위해 노력하길 바란다.

이름도 들어본 적 없는 평범한 누군가가 더 나은 것을 개발할 수 있고, 자신이 도태시킬지도 모르는 거대 기업들에게 허가를 구하러 고개 숙일 필요가 없길 바란다.