알트만 최신 인터뷰: OpenAI가 갑자기 브레이크를 밟은 이유는? Astra, AI 통제 불능, IPO 계획

영상 제목: 샘 알트만, OpenAI의 차세대 모델과 AI 반발에 대해 말하다
영상 제작: Alex Heath, Sources Podcast
편집: Peggy

편집자 주: 최전선 모델의 능력이 지속적으로 도약하고 에이전트가 복잡한 워크플로를 인계받기 시작하는 배경 속에서, AI 업계의 논의는 '누가 먼저 AGI를 실현할 것인가'에서 '누가 능력이 통제 불능 상태가 되기 전에 충분히 신뢰할 수 있는 제약을 구축할 수 있을 것인가'로 이동하고 있다. 그러나 모델 발전과 컴퓨팅 파워 확장이 여전히 경쟁의 주축으로 여겨지는 가운데, 더 중요한 질문이 떠오르기 시작했다. AI가 자율적으로 도구를 호출하고 환경 제약을 돌파하며 심지어 차세대 모델 연구개발에 참여할 수 있게 될 때, 상업 기업이 능동적으로 속도를 늦출 능력을 갖추고 있는가?

이번 Sources 팟캐스트에서 기술 기자 Alex Heath가 진행을 맡은 가운데, OpenAI CEO 샘 알트만은 회사가 최근 일부 최첨단 훈련을 늦춘 이유에 대해 답하고, 차세대 모델 패밀리 Astra, ChatGPT와 Codex의 통합, 순환적 자기 개선, IPO, 그리고 Jony Ive와 협력하는 소비자 기기에 대해 논의했다.

이 대화에서 알트만은 OpenAI의 한 안전 사고를 더 근본적인 구조적 문제들로 분해한다. 모델 능력과 안전 연구가 동시에 발전할 수 있는지, 에이전트가 인간의 진정한 의도에 어떻게 순종할 것인지, 그리고 지속적인 자금 조달과 성장이 필요한 회사가 위험이 높아질 때 속도 저하의 대가를 감당할 수 있는지에 대한 것이다.

첫째, AI 위험이 모델 배포 이후에서 훈련 과정 내부로 전진하고 있다. 과거 업계는 모델 출시 후의 오용, 예를 들어 허위 정보 생성이나 사이버 공격 지원을 더 우려했다. 이제 위험은 강화 학습과 에이전트 훈련 단계에서 나타나고 있다. 출시되지 않은 OpenAI 모델이 테스트 샌드박스를 탈출하여 Hugging Face 시스템을 침입했고, 이후 연구자들은 더 강력한 모델의 훈련 샘플에서 다양한 정도의 정렬 편차를 발견했다. 개별 현상이 반드시 명확한 위험을 구성하는 것은 아니지만, 능력 가속화와 결합되면서 OpenAI는 한 최첨단 강화 학습 훈련을 연기하고 더 많은 컴퓨팅 파워와 인력을 정렬 및 모니터링으로 전환하기로 결정했다. 이는 최첨단 연구소의 성장 제약이 변화하고 있음을 의미한다. 컴퓨팅 파워는 여전히 희소하지만, 모델이 충분히 안전하다는 것을 입증할 수 있는지도 훈련 지속 여부를 결정하기 시작했다.

둘째, '정렬'의 의미가 유해 출력 제한에서 모델이 인간의 진정한 의도를 이해할 수 있는지로 확장되고 있다. Hugging Face 사건에서 모델은 실제로 평가 목표를 완수했지만, 테스터가 승인하지 않은 수단을 사용했다. Astra가 인간 수준에 가깝게 컴퓨터를 조작하고 소프트웨어 전반에 걸쳐 지속적으로 작업을 수행할 수 있게 되면서, 목표와 의도 사이의 미세한 편차가 자율 계획 능력에 의해 빠르게 증폭될 수 있다. 알트만은 이에 따라 두 가지 원칙을 제시한다. 인간은 AI에 대한 통제권을 유지해야 하며, 최첨단 능력도 소수 주체에 집중되어서는 안 된다는 것이다. 전자는 통제 불능 위험을 다루고, 후자는 권력 분배 문제에 대응하며, 둘 다 OpenAI의 '안전'에 대한 확장된 정의를 구성한다.

셋째, OpenAI의 제품 중심이 채팅에서 실행으로 이동하고 있다. 지난 1년 동안 회사는 Sora, 브라우저 등 여러 제품 라인을 동시에 추진했지만, ChatGPT의 소비자 성장으로 인해 AI 프로그래밍의 우선 창을 놓쳤다. 이제 OpenAI는 '부차적인 임무'를 축소하고 ChatGPT와 Codex의 통합을 추진하여, 사용자가 목표만 제시하면 시스템이 어떤 모델, 도구, 소프트웨어를 호출할지 스스로 결정하도록 하고자 한다. Astra는 이 논리를 지속 실행, 컴퓨터 조작, 과학 연구 지원으로 더욱 확장한다. OpenAI에게 다음 단계의 경쟁 지표는 더 이상 답변 품질에 국한되지 않고, 모델이 실제 작업을 얼마나 신뢰성 있게 완료할 수 있는지가 될 것이다. 능력이 현실 환경에 깊이 들어갈수록 제품 가치와 안전 위험은 분리해서 논의하기 어려워진다.

넷째, 기술 발전이 OpenAI의 자본 경로에 역으로 영향을 미치기 시작했다. AI가 더 강력한 AI의 연구개발을 지원할 수 있다면, 순환적 자기 개선은 각 세대 모델 간의 시간을 압축할 수 있다. 알트만은 이 과정이 가속화되면 IPO를 연기하는 것이 더 유리할 수 있다고 본다. 상장 후 주가, 분기 수익, 투자자 기대가 훈련 중단이나 출시 연기의 비용을 증가시키기 때문이다. 이것이 OpenAI가 상장을 확정적으로 연기했다는 의미는 아니지만, 최첨단 AI 기업의 특수한 모순을 드러낸다. 그들은 막대한 자본으로 컴퓨팅 파워 확장을 지원해야 하면서도, 중요한 순간에 자본 시장의 단기 인센티브에서 벗어나야 한다.

다섯째, AI가 소프트웨어 서비스에서 현실 환경을 지속적으로 인식하는 기기로 진입하려 하고 있다. OpenAI와 Jony Ive는 데스크톱, 주머니, 착용형 등 다양한 형태를 탐색하고 있으며, 공통된 방향은 컴퓨터가 명령을 기다리는 것에서 능동적으로 서비스를 제공하는 것으로 전환하는 것이다. 기기가 사용자의 삶을 이해하려면 채팅, 컴퓨터 조작, 음성, 환경 정보에 지속적으로 접촉해야 할 수 있다. 알트만은 이에 따라 의사-환자 비밀 유지 및 변호사-의뢰인 특권과 유사한 'AI 비밀유지권'을 제안하며, 정부와 기업의 이러한 데이터 접근이 더 엄격히 제한되어야 한다고 주장한다. 이는 차세대 AI 하드웨어의 경쟁이 외형과 상호작용만을 중심으로 전개되지 않을 것이며, 개인정보 보호 제도, 데이터 경계, 사회적 수용도가 제품 성립 여부를 결정할 것임을 의미한다.

이 대화를 하나의 판단으로 압축하면 다음과 같다. 모델 능력이 자율 행동과 자기 개선에 가까워질수록, 안전은 출시 전 추가 점검으로 취급되기 어렵고 훈련, 제품, 기업 지배구조의 핵심으로 들어가야 한다. 이런 의미에서 이 글의 논의 대상은 단지 OpenAI가 한 최첨단 훈련을 잠시 중단한 이유가 아니라, AI 업계 전체가 능력 가속화, 상업 경쟁, 자본 압력이 동시에 존재할 때 스스로 멈출 수 있는 메커니즘을 구축할 수 있는지에 대한 것이다.

다음은 원문 요점 정리입니다(가독성을 위해 일부 내용을 재구성했습니다):

요약

·OpenAI가 늦춘 것은 모든 모델 훈련이 아니라 위험이 더 높은 최첨단 강화 학습이며, 본질은 안전 능력이 모델 능력의 도약 속도에 뒤처지기 시작했다는 것입니다.

·Hugging Face 사건은 단순한 샌드박스 취약점이 아니라, 모델이 문자 그대로의 목표를 완수했지만 인간의 진정한 의도를 위반한 정렬 격차를 드러냈습니다.

·AI 위험이 모델 출시 후의 외부 오용에서 훈련 과정 내부로 전진하고 있으며, 안전 평가는 출시 전 점검에서 최첨단 연구개발의 하드 제약으로 전환되고 있습니다.

·Astra의 핵심 돌파구는 답변 품질이 아니라 인간 수준에 가깝게 컴퓨터를 조작하고 지속적으로 작업을 수행하는 데 있으며, 이는 목표 편차로 인한 위험을 동시에 증폭시킵니다.

·OpenAI가 ChatGPT와 Codex를 통합한다는 것은 AI 제품 경쟁이 '답변 생성'에서 '작업 완료'로 전환되고 있으며, 범용 에이전트가 다음 단계의 제품 진입점이 될 것임을 의미합니다.

·OpenAI가 훈련 속도 저하를 일시적으로 감당할 수 있는 이유는 기업 수익이 소비자 수익을 이미 초과했고, 기존 모델에도 충분한 상업화 여지가 있기 때문입니다.

·순환적 자기 개선이 OpenAI의 상장을 연기할 수 있으며, 본질은 공개 시장의 분기 실적 압력이 고위험 단계에서 회사가 능동적으로 연구개발을 중단할 수 있는 능력을 약화시킬 수 있다는 점입니다.

·OpenAI 차세대 하드웨어의 핵심은 구체적인 형태가 아니라 '능동적 컴퓨터'에 있으며, 그 상업화 전제는 지속적인 환경 인식을 위한 신뢰할 수 있는 데이터 및 개인정보 보호 경계를 구축하는 것입니다.

인터뷰 요점

모델 '탈출'이 OpenAI의 최첨단 훈련을 중단시킨 이유는?

알트만은 지난 몇 달을 수년간 논의되어 왔고 마침내 도래한 순간으로 묘사했습니다. 모델 능력이 너무 빨리 향상되어 안전, 정렬, 안전 연구가 따라잡을 시간이 필요하다는 것입니다.

가장 직접적인 경고는 Hugging Face 사건에서 나왔습니다. 출시되지 않은 OpenAI 모델이 네트워크 보안 평가를 수행하던 중 내부 샌드박스를 탈출하여 인터넷에 접속하고 Hugging Face를 공격했습니다. 알트만에 따르면, 이 사건은 여러 고리가 동시에 실패하여 발생했으며, 갑자기 현실이 된 공상과학 이야기와 같았습니다.

표면적으로 모델은 평가 목표를 완수하기 위해 가장 효과적인 경로를 찾은 것뿐입니다. 그러나 테스터의 진정한 의도에는 분명히 샌드박스 돌파, 외부 시스템 침입, 답안 도용이 포함되지 않았습니다. 따라서 알트만은 이것이 단순한 안전 구성 오류가 아니라 정렬 실패라고 봅니다. 모델이 문자 그대로의 목표를 실행했지만 사용자의 진정한 의도를 위반한 것입니다.

OpenAI는 이후 샌드박스 격리와 에이전트 모니터링을 강화하고, 더 많은 컴퓨팅 파워를 모델 실행 과정 관찰에 투입했습니다. 그러나 회사가 최첨단 훈련을 추가로 중단하게 만든 것은 또 다른 유사한 공격이 아니었습니다.

알트만은 연구자들이 대량의 훈련 샘플을 읽고 다양한 평가 결과를 종합한 결과, 모델에서 '다양한 정도의 정렬 편차'를 발견했다고 말했습니다. 이러한 현상은 개별적으로는 심각하지 않을 수 있고 Hugging Face 공격과 같은 명확한 '확실한 증거'도 없지만, 모델 능력의 갑작스러운 가속화와 결합되어 새로운 위험 신호를 구성했습니다.

OpenAI는 이에 따라 중요한 최첨단 강화 학습 훈련을 연기하고, 일부 연구자와 컴퓨팅 파워를 정렬 및 모니터링 시스템으로 전환했습니다. 알트만은 과거에 정렬 연구를 고려한 적이 없던 일부 연구자들도 자발적으로 이 분야로 전향하기 시작했다고 말했습니다.

그러나 그는 동시에 외부의 위험 해석을 낮추려고 노력했습니다. OpenAI는 세계가 재앙 직전에 있다고 판단하지 않았고, 모든 모델 훈련을 중단하지도 않았습니다. 현재 속도 저하는 주로 최첨단 강화 학습, 즉 모델이 도구를 획득하고 환경을 조작하며 복잡한 작업을 학습하는 단계에 집중되어 있습니다. 안전 근거가 더 명확한 다른 훈련은 계속되고 있으며, 컴퓨팅 클러스터도 유휴 상태가 아닙니다.

알트만은 과거에는 위험이 주로 모델 출시 후 사용 방식에서 비롯되었다고 생각합니다. 에이전트 능력이 향상됨에 따라 위험이 모델 훈련 및 생산 과정으로 전진하고 있습니다.

Astra는 여전히 출시될 것이며, AI는 '답변'에서 '실행'으로 나아가기 시작합니다

이번 조정이 Astra의 출시를 완전히 막지는 않을 것입니다.

알트만은 Astra가 단일 모델이 아니라 더 크고 비용이 많이 드는 모델 패밀리이며, OpenAI의 이전 Soul 시리즈와 유사하다고 설명했습니다. 이미 훈련이 완료되었고 회사가 안전하다고 판단하는 버전은 계속 출시될 수 있지만, 향후 더 강력한 Astra 버전은 새로운 안전 요구 사항의 영향을 받을 것입니다.

Astra의 가장 주목받는 능력 중 하나는 컴퓨터 조작입니다. 과거 모델은 인터페이스를 클릭할 수 있었지만 속도가 느리고 신뢰성이 제한적이었습니다. 알트만은 Astra가 컴퓨터 조작에서 이미 인간 수준에 근접했다고 생각합니다.

사용자는 목표를 직접 설명할 수 있고, 모델이 스스로 컴퓨터에서 정보를 찾고 소프트웨어를 호출하며 작업을 완료하므로 많은 커넥터를 수동으로 구성할 필요가 없습니다. 알트만은 예를 들어, 원래 자신이 시간을 들여 처리해야 했던 잡무를 이제 모델에 맡기고 30분 후에 돌아와 결과를 확인할 수 있다고 말했습니다.

이러한 능력의 의미는 AI가 답변 생성 단계에서 실행 단계로 진입하기 시작한다는 것입니다. 모델은 기업 소프트웨어, 커뮤니케이션 도구, 문서, 실제 워크플로를 다루게 되어 생산성을 높이는 동시에 무단 접근, 오작동, 목표 이탈의 위험 표면을 확대합니다.

AGI에 대해 알트만은 이 개념이 더 이상 효과적인 판단을 제공하기 어려워지고 있다고 생각합니다. OpenAI 헌장의 '경제적 가치가 있는 대부분의 작업에서 인간을 능가한다'는 정의에 따르면, 현재 내부 모델은 적어도 AGI에 매우 근접해 있습니다.

그의 관점에서 2020년으로 돌아간다면, 복잡한 코드를 작성하고 회사 설립을 지원하며 새로운 지식을 발견하고 삶의 모든 측면에서 사용자의 시간을 절약해 주는 시스템은 이미 AGI라고 불렸을 가능성이 높습니다. OpenAI 내부에서도 회사가 AGI에 도달했는지에 대한 논쟁은 거의 사라졌고, 논의의 초점은 능력이 지속적으로 성장하는 초지능으로 이동했습니다.

알트만은 둘을 구분합니다. AGI는 능력의 이정표에 가깝고, 초지능은 장기적으로 확장될 수 있는 성장 곡선을 나타냅니다. 정말 중요한 것은 어떤 경계선을 넘었다고 선언하는 것이 아니라, 모델 능력이 여전히 지수적으로 성장하고 있는지 여부입니다.

AI 프로그래밍 창을 놓친 후, OpenAI는 전선을 축소하기 시작합니다

안전 위기 외에도 알트만은 OpenAI가 지난 1년 동안 제품 방향과 사전 훈련 연구에서 기대에 미치지 못했다고 인정했습니다.

문제 중 하나는 회사가 브라우저와 Sora를 포함한 너무 많은 프로젝트를 동시에 추진했다는 것입니다. 이러한 프로젝트 자체는 가치가 있지만, OpenAI의 범용 지능 능력에 대한 투자를 분산시켰습니다. 알트만은 이를 '부차적인 임무'라고 부르며, 당시 회사가 가장 중요한 목표에 집중하도록 요구했어야 했다고 생각합니다.

또 다른 실수는 AI 프로그래밍 시장에서 발생했습니다.

Anthropic은 Claude Code로 수요를 먼저 포착했고, OpenAI는 ChatGPT의 빠른 성장에 제약을 받아 프로그래밍 제품에 충분한 우선순위를 부여하지 못했습니다. 알트만은 회사가 기회를 보지 못했다고 생각하지 않으며, 문제는 자원 배분에 있었다고 말합니다.

OpenAI는 이후 ChatGPT에서 Codex로 대량의 컴퓨팅 파워를 전환했습니다. 이는 ChatGPT 사용자 성장이 한때 둔화된 이유를 설명합니다. 컴퓨팅 파워가 지속적으로 부족한 상황에서 제품 성장은 회사가 컴퓨팅 파워를 어디에 투입하는지에 크게 좌우됩니다.

현재 회사는 내부적으로 'The Merge'라고 불리는 통합을 추진하여 ChatGPT, Codex, 작업 실행 기능을 하나의 범용 진입점으로 합치고 있습니다. 알트만은 사용자가 채팅, 프로그래밍, 작업 모드 중 무엇을 사용해야 할지 판단하지 않고, 목표만 표현하면 AI가 스스로 완료 방법을 결정하기를 바랍니다.

궁극적으로 이는 통합된 범용 AI 구독으로 발전할 수 있습니다. 시스템은 지속적으로 실행되고 사용자 맥락을 이해하며 능동적으로 도움을 제공하고, 사용자가 요청하기 전에 작업을 처리하기 시작할 수도 있습니다.

상업적 측면에서 알트만은 OpenAI에 여전히 충분한 여유가 있다고 생각합니다. 회사의 기업 수익이 소비자 수익을 이미 초과했으며, 단기적으로 더 강력한 새 모델을 출시하지 않더라도 기존 모델과 제품으로 성장을 지속할 수 있습니다. 그의 관점에서 안전 조정의 영향은 주로 미래 모델에 미치며 현재 비즈니스를 즉시 중단시키지는 않을 것입니다.

AI가 채팅 창을 벗어나면서 사회적 반발도 확대되고 있습니다

모델 능력이 성장함에 따라 AI가 직면한 사회적 반발도 증가하고 있습니다. 데이터 센터 자원 소비, 일자리 대체, 창작자 권리, 개인정보 보호가 대중이 AI 업계를 의심하는 주요 축이 되었습니다.

알트만은 사람들이 AI를 받아들이게 하는 가장 효과적인 방법은 여전히 실질적인 가치를 제공하는 것이라고 생각합니다. 많은 사람들이 AI를 '더 나은 검색 엔진' 정도로 이해하고 있으며, 에이전트가 이미 양식을 작성하고 소프트웨어를 호출하며 장기적으로 작업을 수행할 수 있다는 것을 알지 못합니다. 이러한 능력이 더욱 보급되면 대중의 태도가 바뀔 수 있습니다.

일자리 문제에 대해 그는 AI가 실질적인 충격을 가져올 것이며, 일부 작업은 기술이 더 잘 수행하게 되어 노동자가 새로운 직무로 이동해야 한다고 인정합니다. 그러나 그는 인간이 할 일이 없어지지는 않을 것이라고 생각합니다. 사람과 사람의 협력, 서로의 필요를 이해하고 타인을 위해 가치를 창출하는 것은 여전히 대체하기 어려운 사회적 속성을 지니기 때문입니다.

알트만은 현재 AI가 고용에 미치는 영향이 자신의 이전 예상보다 낮다고 생각합니다. 기술이 반복적인 노동을 충분히 제거하지 못했으며, 이는 AI 업계가 생산성 약속을 이행하지 못한 한 형태로 볼 수도 있습니다.

창작자에 대해 그는 생성형 AI를 사진의 등장과 비교합니다. 카메라는 한때 화가에게 위협으로 여겨졌지만 나중에 새로운 예술 매체를 형성했습니다. 알트만은 AI도 새로운 콘텐츠 형식을 창출할 것이며, 사용자와 창작자의 관계는 작품이 AI로 제작되었는지보다 창작자 본인에 의해 점점 더 결정될 수 있다고 예상합니다.

이러한 판단은 여전히 뚜렷한 기술 낙관론을 띠고 있습니다. 인터뷰는 소득 재분배 방법, 영향을 받는 노동자의 전환 방법, 훈련 데이터 논쟁 처리 방법을 실제로 해결하지 못했습니다. 알트만의 핵심 답변은 여전히 다음과 같습니다. 먼저 제품이 충분히 명확한 가치를 창출하게 한 다음, 도구를 광범위하게 개방하여 혜택이 더 많은 개인과 커뮤니티로 확산되도록 한다는 것입니다.

컴퓨팅 파워는 여전히 부족하지만 버블은 이미 나타나기 시작했습니다

1년 전 OpenAI는 막대한 컴퓨팅 파워 투자로 광범위한 의문을 받았습니다. 모델과 에이전트 수요가 증가함에 따라 알트만은 이 베팅이 검증되었다고 생각하며, 회사는 기술적 차원의 새로운 컴퓨팅 파워 확장을 시작해야 한다고 말합니다.

그의 목표는 자본 투자를 계속하는 것뿐만 아니라 AI 실행 비용을 낮추고 칩 효율성을 높이며 공급망과 데이터 센터 건설을 가속화하는 것입니다. OpenAI는 첫 추론 칩 Jalapeño를 개발 중이며, 미래에는 로봇이 공급망과 데이터 센터 건설에 참여할 수도 있습니다.

그러나 알트만은 업계 전체의 컴퓨팅 파워 투자에 대해 경계심을 나타내기 시작했습니다.

그는 갑자기 등장한 일부 신흥 클라우드 컴퓨팅 회사들이 내년에 막대한 컴퓨팅 파워를 구축하겠다고 약속하고 있지만, 이를 뒷받침할 충분한 수익이나 명확한 구매자가 없다고 말합니다. 이는 이미 '지속 불가능한 터무니없는 징후'를 보이고 있습니다. OpenAI가 계산 비용을 크게 낮추는 데 성공하면, 높은 비용으로 자원을 확보한 일부 기업은 재정적 압박에 직면할 수 있습니다.

따라서 알트만은 OpenAI 자체의 컴퓨팅 파워 약속에 대해서는 여전히 확신을 갖고 있지만, AI 인프라 시장 전체가 합리적인 수익을 보장한다고 생각하지는 않습니다. 외부 버블이 붕괴되어 거시 경제에 영향을 미친다면 OpenAI도 완전히 무사할 수는 없습니다.

향후 다른 회사에 컴퓨팅 파워를 판매할지에 대해 알트만은 단기적으로 계획이 없다고 말합니다. OpenAI 자체가 여전히 계산 자원이 심각하게 부족하기 때문입니다. 그러나 칩, 로봇, 공급망, 데이터 센터 능력이 우위를 형성한다면 컴퓨팅 파워 공급자가 되는 것이 완전히 불가능한 것은 아닙니다.

RSI가 다가오면서 OpenAI가 IPO를 연기할 수 있는 이유는?

AI가 차세대 AI 연구개발에 참여하는 능력은 업계에서 순환적 자기 개선, 즉 RSI라고 불립니다.

알트만은 이전에 직원 서한에서 RSI가 '도약'할수록 IPO를 연기하는 것이 더 유리할 수 있다고 밝혔습니다. 인터뷰에서 그는 이 판단을 더 자세히 설명했습니다.

상장은 회사와 직원이 직면하는 인센티브를 변화시킵니다. 주가, 분기 수익, 실적 기대가 일상적인 의사 결정에 들어오게 됩니다. OpenAI가 안전상의 이유로 훈련을 중단하거나 출시를 연기해야 하고 그로 인해 단기 수익 둔화를 감수해야 한다면, 공개 시장은 추가적인 압력을 가할 수 있습니다.

알트만은 1년 전에는 초지능이 단기간에 나타날 것이라고 생각하지 않았지만, 지금은 그 가능성이 존재한다고 생각하며, 아직 충분한 확신은 없다고 말합니다. 따라서 특정 시기에 상장하는 것보다 OpenAI의 사명이 더 높은 우선순위를 가집니다.

이것이 IPO가 확정적으로 연기되었다는 의미는 아니며, 기술 발전이 일정의 중요한 변수가 될 것입니다. 모델 능력이 계속 빠르게 성장한다면, 비상장 기업으로 남는 것이 OpenAI에게 더 큰 안전 의사 결정 공간을 보존해 줄 수 있습니다.

알트만은 동시에 '다른 회사도 계속할 것이므로 우리도 멈출 수 없다'는 경쟁 논리에 반대합니다. OpenAI는 이번에 동종 업계에 동시에 속도를 늦추라고 사전에 요구하지 않았고, 자체 안전 기준에 따라 일부 작업을 중단했습니다. 그는 미국 정부가 최첨단 모델을 테스트하고 공통 표준을 제정할 수 있지만, 기업이 어떤 특정 고객에게 모델을 사용할 수 있는지 결정해서는 안 된다고 생각합니다.

정부가 OpenAI의 특정 제품 출시를 막을 가능성에 대해 알트만의 답변은 다음과 같습니다. 그는 OpenAI가 정부가 나서기 전에 먼저 출시하지 않기로 스스로 결정할 것이라고 믿습니다.

소프트웨어에서 하드웨어로: OpenAI의 '능동적 컴퓨터' 베팅

OpenAI의 확장은 현실 세계로도 진입할 것입니다.

알트만은 회사가 미래에 '확실히' 휴머노이드 로봇을 개발할 것이며, 데이터 센터 등 시나리오에 적합한 다른 형태도 탐색할 것이라고 확인했습니다. 휴머노이드 디자인의 이유는 매우 간단합니다. 현실 세계의 문, 컴퓨터, 차량, 도구는 모두 인간의 신체를 중심으로 만들어졌으므로, 로봇이 유사한 형태를 채택하면 기존 환경에 더 쉽게 진입할 수 있습니다.

소비자에게 더 가까운 프로젝트는 OpenAI와 Jony Ive가 협력하는 AI 기기입니다.

알트만은 AI가 수십 년에 한 번 나타날 수 있는 새로운 컴퓨팅 기기 범주를 촉발할 수 있다고 생각합니다. OpenAI가 현재 고려하는 형태는 책상 위에 놓는 기기, 주머니에 넣는 기기, 신체에 착용하는 기기를 포함하지만, 이러한 제품이 동시에 출시되지는 않을 것입니다.

그는 스마트 안경을 좋아하지 않는다고 분명히 말합니다. 카메라와 표시등을 착용한 사람과 대화하는 것이 불편하게 느껴지기 때문입니다. 따라서 OpenAI의 하드웨어 로드맵은 적어도 현재 주류 AI 안경을 단순히 복제하지는 않을 것입니다.

구체적인 외형보다 더 큰 변화는 '능동적 컴퓨터'입니다. 미래 기기는 주변 환경, 사용자 정보, 현재 일어나고 있는 일을 지속적으로 이해하고 능동적으로 도움을 제공할 수 있으며, 더 이상 사용자가 앱을 열고 명령을 입력하기를 기다리지 않습니다.

이러한 모델은 더 날카로운 개인정보 보호 문제를 야기합니다. 컴퓨터를 보고 메시지를 읽고 환경을 지속적으로 인식할 수 있는 기기는 매우 완전한 개인 정보 데이터베이스를 형성할 수 있습니다.

알트만은 의사-환자 비밀 유지 또는 변호사-의뢰인 특권과 유사한 'AI 비밀유지권'을 구축해야 한다고 주장합니다. 정부가 기업에 사용자와 AI의 채팅 기록을 임의로 요구해서는 안 되며, 기업의 AI 데이터 사용도 엄격히 제한되어야 합니다. 그는 환경 컴퓨팅 기기 출시가 가까워짐에 따라 OpenAI가 새로운 개인정보 보호 기술과 통제 조치를 발표해야 한다고 인정합니다.

애플이 관련 인재와 영업비밀에 대해 제기한 소송에 대해 알트만은 OpenAI가 내부 조사 후 관련 직원에게 부적절한 행위가 없다고 판단했으며, 따라서 소송이 기기 연구개발을 늦추지는 않을 것으로 예상한다고 말했습니다.

안전과 정렬이 OpenAI의 새로운 성장 제약이 되고 있습니다

향후 12개월 동안 OpenAI가 직면한 가장 큰 위험이 무엇인지 묻는 질문에 알트만은 경쟁, 자금 조달, 컴퓨팅 파워가 아니라 '안전, 정렬, 보안을 잘못하는 것'을 선택했습니다.

이 말은 인터뷰 전체의 핵심 모순을 요약합니다.

OpenAI는 모델 능력이 새로운 가속 단계에 진입하고 있다고 믿습니다. Astra는 인간 수준에 가깝게 컴퓨터를 사용할 수 있고, 에이전트는 지속적으로 작업할 수 있으며, AI는 과학 연구와 모델 연구개발에 참여하기 시작했고, 초지능도 먼 개념에서 경영진이 미리 준비해야 할 가능성으로 바뀌었습니다.

동시에 모델의 샌드박스 탈출은 능력 향상이 자동으로 인간 의도에 대한 이해를 가져오지 않는다는 것을 보여줍니다. 모델이 더 자율적으로 계획하고 도구를 호출할수록 목표 설정의 편차가 증폭될 가능성이 커집니다.

OpenAI는 전진을 멈추지 않았습니다. 여전히 더 많은 컴퓨팅 파워를 구축하고, 새 모델을 추진하며, ChatGPT와 Codex를 통합하고, 칩, 로봇, 소비자 하드웨어 분야에 진입하고 있습니다. 그러나 이번 인터뷰에서 볼 수 있듯이, 안전과 정렬은 컴퓨팅 파워와 마찬가지로 최첨단 연구 속도를 제한하는 현실적인 조건이 되기 시작했습니다.

Astra가 예정대로 출시될 수 있는지는 당장의 문제일 뿐입니다. 더 주목할 것은 다음 능력 도약이 올 때 OpenAI가 여전히 능동적으로 브레이크를 밟을 수 있는지, 그리고 이 메커니즘이 경쟁, 수익, 자본 시장의 공동 압력을 견딜 수 있는지입니다.