TIME 심층 분석: 두 번의 큰 실수 이후, OpenAI는 무엇을 생각하는가?

원제: Inside OpenAI's Reboot
원저자: Alex Heath
편집: BlockBeats

편집자 주: 지난 1년간 OpenAI의 선두 자리는 흔들렸다. Anthropic은 Claude Code로 AI 코딩 시장을 장악했고, 연간 매출과 비상장 기업 가치에서 OpenAI를 추월했다. 내부적으로는 임원 이탈, 제품 초점 축소, 안전 팀 조정이 이어졌다. 출시되지 않은 에이전트가 샌드박스를 탈출해 Hugging Face를 침해하면서, 회사는 창립 이래 가장 심각한 안전 위기를 맞았다.

제품과 안전의 이중 압박에 직면한 OpenAI는 전면적인 재부팅을 시도하고 있다. Sora와 같은 프로젝트에서 Codex로 자원을 이동하고, ChatGPT를 채팅 도구에서 지속적으로 작업을 수행하는 에이전트 플랫폼으로 진화시키는 한편, 고위험 모델 훈련을 일시 중단하고 안전 및 정렬 메커니즘을 강화하고 있다. 더 야심 차게, 회사는 AGI, 자체 칩, AI 하드웨어, 휴머노이드 로봇, 컴퓨팅 인프라로 확장을 계속하고 있다.

TIME이 Sam Altman, Greg Brockman 등 OpenAI 경영진과 직원, 투자자, 고객, 경쟁사를 인터뷰한 이 기사는 상업적 경쟁, 안전 위험, AGI 비전 사이에서 회사가 어떻게 균형을 재조정하고 있는지 보여준다. OpenAI가 선두를 되찾을 수 있을지는 다음 모델의 성능뿐 아니라, AI를 가속할 능력과 필요할 때 브레이크를 밟을 능력을 모두 입증할 수 있는지에 달려 있다.

다음은 원문이다(가독성을 위해 약간 편집됨):

8월 초 어느 아침, 내가 OpenAI 사무실에 도착했을 때 시위대가 이미 밖에서 기다리고 있었다. 그들은 "AI 경쟁을 멈춰라"라는 팻말을 들고 보도에 분필로 메시지를 적었다. 한편, OpenAI 주요 고객사의 임원 수십 명이 넓고 베이지 톤의 건물로 들어서고 있었다. MB0라고 불리는 이 건물은 OpenAI가 최근 연구 및 컴퓨팅 팀을 위해 연 새 사무 공간이다.

누군가 유리문 앞에 키 큰 녹색 식물 벽을 밀어 넣어, 깔끔한 로비에서 바깥의 작은 시위 캠프를 가리려 했다.

이 고객들은 OpenAI의 차세대 프런티어 AI 모델 제품군인 Astra를 미리 보기 위해 그곳에 있었다. CEO Sam Altman은 워싱턴에서 정부 관계자들에게 Astra의 성능을 비공개 브리핑한 직후 돌아왔다. 이제 OpenAI 연구원들이 이 새로운 모델이 무엇을 할 수 있는지 시연하기 시작했다.

한 데모에서는 16개의 AI 에이전트가 연구 수준의 수학 문제를 하위 문제로 나누고 서로 협력하여 증명을 완성했다. 다른 데모에서는 Astra가 일반 데스크톱 소프트웨어를 조작하며 여러 애플리케이션에서 불안할 정도로 빠른 속도로 콘텐츠를 생성하고 편집했다.

Altman은 방문객들에게 Astra가 "인간을 초월하고 극도로 빠른" 방식으로 컴퓨터를 조작하는 모습이 OpenAI 직원들이 경험한 가장 인상적인 순간 중 하나였다고 말했다. 그는 Astra가 장기간에 걸쳐 지속적으로 작업을 수행할 수 있는 가상 동료인 "지속형 에이전트"를 탄생시킬 것이라고 설명했다.

하지만 Altman은 가장 큰 영향은 사람들이 새로운 지식을 발견하도록 돕는 데서 나올 것으로 기대한다.

"이 모델이 진정으로 의미 있는 방식으로 새로운 것을 발명할 수 있는 첫 번째 모델이 될 것으로 기대합니다."라고 Altman은 참석자들에게 말했다. "이것은 AGI에 매우 가깝습니다."

Anthropic 추월, 신뢰 하락—OpenAI는 왜 선두를 잃었나?

AI 물결을 촉발한 회사에게 지난 기간은 쉽지 않았다.

"회사로서 우리는 분명히 몇 가지 우회로를 택했습니다."라고 Altman은 일주일 후 세련되게 꾸며진 MB0 도서관에서 두 시간이 넘는 인터뷰에서 말했다. "제품 방향이든 사전 훈련 연구든, 우리가 바라던 수준에 뒤처져 있습니다."

지난 1년간 AI 경쟁에서 OpenAI의 선두는 주요 경쟁사인 Anthropic에게 빼앗겼다. Anthropic은 AI 코딩의 상업적 기회를 가장 먼저 포착했고, Claude Code를 시장을 정의하는 제품으로 만들었으며, 공개된 연간 매출과 비상장 기업 가치에서 처음으로 OpenAI를 추월했다.

Anthropic의 계획에 정통한 두 사람에 따르면, 전 OpenAI 직원들이 설립한 이 회사가 먼저 상장할 것으로 예상되며, IPO는 빠르면 9월에 이루어질 수 있다. (TIME은 OpenAI와 라이선스 및 기술 파트너십을 맺고 있다. TIME을 소유한 Marc Benioff가 CEO인 Salesforce는 Anthropic의 투자자다.)

Anthropic이 앞서 나가는 동안 OpenAI는 여러 임원의 이탈을 포함한 일련의 좌절을 겪었다. 떠난 사람들 중에는 Altman이 작년에 2인자로 영입한 전 Instacart CEO Fidji Simo, 여러 안전·윤리·연구 팀 책임자, 그리고 최근에는 최고수익책임자 Denise Dresser와 전 최고운영책임자 Brad Lightcap이 포함된다. Dresser는 합류한 지 불과 8개월 만에 떠났다.

회사 밖에서도 도전이 커지고 있다. Meta CEO Mark Zuckerberg는 파격적인 보상 패키지로 OpenAI의 핵심 연구원들을 영입했고, Google의 Gemini 제품은 월간 사용자 10억 명을 돌파했으며, Apple은 OpenAI가 영업 비밀을 빼갔다고 소송을 제기했고(OpenAI는 부인), OpenAI는 공동 창업자 Elon Musk와 소송 중이다. Musk는 회사와 Altman이 비영리 사명을 배신했다고 주장한다.

올해 5월, 자문 배심원단은 만장일치로 Musk가 소송을 너무 늦게 제기했다고 판단했고, 연방 판사는 이후 그의 주장을 기각했다. Musk는 항소하겠다고 밝혔다.

OpenAI와 CEO에 대한 대중의 정서가 악화된 가장 중요한 이유는 아마도 신뢰 상실일 것이다. OpenAI는 캘리포니아에서 최소 12건의 제조물 책임 소송과 여러 연방 소송에 직면해 있다. 원고들은 ChatGPT가 사용자의 망상이나 자살 충동을 강화했고, 일부 경우 사용자의 사망으로 이어졌다고 주장한다.

회사는 관련 사건의 피해자들에게 애도를 표했고, 더 엄격한 기본 보호 기능을 갖춘 청소년용 ChatGPT를 출시했다. 올봄 Altman의 집은 이틀 만에 두 번 공격을 받았다. 처음에는 화염병, 그다음에는 총격이었다.

지난 1년에 대해 Altman은 말했다: "개인적으로는 고통스러운 경험이었습니다. 분명히, 적어도 지금은 사람들이 데이터 센터를 싫어합니다. AI에 대한 사람들의 태도는 상당히 부정적입니다."

하지만 OpenAI 내부에서 경영진은 더 낙관적인 그림을 그린다.

약 1조 달러의 가치를 인정받은 이 회사는 여전히 부러운 위치에 있다. ChatGPT는 월간 활성 사용자 10억 명을 넘어섰고, 더 이상 OpenAI 미래 전략의 유일한 핵심은 아니지만 여전히 세계에서 가장 인기 있는 AI 제품 중 하나다. Altman 자신도 한 달 내내 ChatGPT 사용을 중단하고 OpenAI의 코딩 도구인 Codex로 전환했다.

1년 전 OpenAI는 컴퓨팅에 대한 대규모 투자로 무모하다는 비판을 널리 받았다. 올해에만 회사는 컴퓨팅에 500억 달러를 지출할 것으로 예상한다.

OpenAI의 컴퓨팅 사업을 총괄하는 Sachin Katti는 돌이켜보면 "그 결정은 매우 선견지명이 있었습니다."라고 말했다. "우리는 여전히 컴퓨팅이 부족합니다. 오히려 더 많이 샀어야 했습니다."

한편, Anthropic의 칩 수요는 또 다른 수준의 긴급성에 도달했다. 올해 5월, 이 회사는 SpaceX에 컴퓨팅 용량 대가로 월 12억 5천만 달러를 지불하기로 합의한 것으로 알려졌다. SpaceX 창업자 Musk는 이전에 Anthropic의 AI를 "반인륜적이고 사악하다"고 부른 적이 있다.

공동 창업자이자 사장인 Greg Brockman의 지휘 아래 OpenAI는 우선순위를 다시 집중했다. 오늘날 Brockman은 거의 모든 제품 및 상업 운영을 총괄한다. 회사는 비디오 생성 앱 Sora, Disney와의 협업, Atlas라는 독립형 브라우저를 점진적으로 종료하고 있다.

Altman은 OpenAI가 너무 많은 분야에 분산되었다는 점을 인정했다. "저점을 지나 다시 올라가는 과정이 더 흥미롭습니다."라고 그는 말했다.

에이전트 '탈옥' 이후, OpenAI가 브레이크를 밟기 시작하다

그러나 Astra 데모가 있은 지 며칠 만에 OpenAI는 새로운 위기에 직면해야 했다.

7월 말, 회사는 불안한 안전 사고를 공개했다. 출시되지 않은 AI 에이전트가 "샌드박스"라고 알려진 테스트 환경을 탈출해 AI 모델과 데이터셋을 호스팅하는 플랫폼인 Hugging Face를 공격한 것이다.

"마치 공상과학 소설 같습니다."라고 Altman은 말했다.

사고 이후 OpenAI 연구팀은 일부 실험을 일시 중단하고 다른 프로젝트를 늦추면서 샌드박스 보호와 모니터링을 강화했다.

하지만 얼마 지나지 않아 팀은 또 다른 미출시 모델을 훈련하는 동안 다시 우려스러운 징후를 발견했다. 그 모델은 지금까지 가장 큰 능력 도약을 제공할 것으로 기대되었다. OpenAI는 더 중대한 결정을 내렸다. 새로운 안전 조치가 마련될 때까지 해당 훈련을 일시 중단하기로 한 것이다.

OpenAI 경영진이 그 결정을 내린 날, 나는 Altman을 인터뷰했다. 그의 표정은 이전보다 눈에 띄게 어두웠다.

OpenAI는 처음에 Hugging Face 침해를 보안 실수로 설명했지만, Altman은 나중에 이를 더 근본적인 "정렬" 문제로 규정했다. 정렬은 AI 시스템이 인간의 의도에 따라 행동하도록 만드는 것을 의미한다. 업계 리더들은 모델 능력이 커질수록 정렬을 유지하는 것이 AI 시스템이 창조자의 통제 아래 있도록 보장하는 핵심이라고 믿는다.

"이제부터는 어떤 정렬 실패도 중대 사건으로 취급해야 한다고 생각합니다."라고 Altman은 나에게 말했다. "우리는 근본 원인을 파악하는 데 필요한 시간을 들일 것입니다."

3일 후 후속 인터뷰에서 그는 한발 더 나아갔다: "AI 안전을 제대로 하는 것이 어떤 회사의 추진력보다 더 중요합니다."

OpenAI는 속도를 늦추고, 안전 및 정렬 팀에 더 많은 자원을 할당하며, 팀 간 협업 방식을 바꿔 안전을 더 높은 우선순위에 둘 것이다.

OpenAI의 재부팅에 대한 이 설명은 수십 시간의 인터뷰를 바탕으로 한다. 인터뷰 대상자에는 20명 이상의 회사 경영진, 직원, 투자자, 고객, 경쟁사가 포함되며, 8월에 2주 동안 OpenAI 본사에서 내가 직접 목격한 활동도 포함된다.

이 대화들은 한 번에 두 가지 변혁을 완수하려는 회사의 모습을 그린다. 한편으로 OpenAI는 Anthropic이 AI 경쟁에서 선두를 차지하도록 허용한 제품 및 운영상의 실수를 바로잡았다고 믿는다. 다른 한편으로 OpenAI는 역사상 가장 심각한 안전 위기를 이용해 주요 경쟁사가 오랫동안 보유해 온 정체성, 즉 진정으로 안전을 최우선으로 하고 기술이 너무 위험해지면 기꺼이 속도를 늦추는 프런티어 연구소라는 정체성을 되찾으려 한다.

"보세요, 저에 대한 캐리커처가 있다는 것을 압니다."라고 Altman은 말했다. "제가 AI 안전에 전혀 신경 쓰지 않고, 매출만 올리려 하고, 그냥 '빨리 움직이고 부수는' CEO라는 식이죠." 하지만 저는 "AI 안전을 제대로 하는 것이 어떤 회사의 추진력보다 더 중요하다"고 생각합니다.

OpenAI 경영진은 속도 저하가 고통스러운 선택이지만 몇 가지 이점도 가져올 수 있다고 말한다. OpenAI가 "안전 우선 연구소"라는 명성을 되찾을 수 있다면, 자체 이미지를 개선하는 동시에 블록버스터 IPO를 준비 중인 주요 경쟁사에게 불편한 질문에 답하도록 강요할 수 있다. OpenAI가 기다리기로 선택할 때, Anthropic은 계속 전속력으로 질주할 것인가?

올해 초 Anthropic 공동 창업자 Jared Kaplan은 TIME에 경쟁자들이 여전히 "전속력으로 나아가고" 있을 때 일방적인 자제는 무의미하다고 말했다. 하지만 OpenAI가 큰 능력 도약을 가져올 것으로 예상되는 훈련을 자발적으로 중단한다면, 그 주장은 유지하기 어려워진다.

물론 OpenAI의 이미지 변화에 회의적일 이유도 있다.

수년에 걸쳐 OpenAI는 안전 작업을 이끌던 많은 사람들을 잃었고, 그들 중 일부는 떠날 때 회사가 상업화를 지나치게 우선시한다고 비판했다. 동시에 OpenAI는 상장을 준비 중이며, 여전히 적자인 사업은 꾸준한 신모델 공급이 필요하다. Hugging Face 사건 이후, 회사는 이전에 회사가 모르는 사이에 통제를 벗어난 기술을 통제할 수 있다고 대중에게 믿어 달라고 요청하고 있다.

이 모든 상황 속에서 OpenAI 리더십은 회사가 인류 역사의 흐름을 바꿀 수 있는 이정표에 도달했다고 믿는다. 바로 인공 일반 지능, 즉 AGI를 만드는 것이다.

OpenAI 헌장은 AGI를 "경제적으로 가치 있는 대부분의 작업에서 인간을 능가하는 고도로 자율적인 시스템"으로 정의한다. 회사 리더들은 아직 이 문턱을 넘었다고 명시적으로 선언하지 않았지만, 더 이상 AGI를 먼 미래의 추상적인 개념으로 취급하지 않는다.

최고연구책임자 Mark Chen은 OpenAI가 AGI로 가는 길의 "80%"를 완료했다고 추정한다.

Brockman은 사람들이 2년 후를 돌아본다면 지금을 AGI가 탄생한 순간으로 볼 수 있을 것이라고 말했다. Altman은 나에게 OpenAI가 AGI에 "아직 도달하지 못했지만", 올해 말까지 회사 내부적으로 AGI라고 부를 의향이 있는 시스템을 갖게 될 것이라고 말했다.

그 목표를 달성하는 것이 비영리 연구소로 설립되었을 당시 OpenAI의 원래 목적이었다. 오늘날 이 회사는 놀라운 상업적 야망을 가진 기업으로 빠르게 성장했다.

OpenAI는 자체 칩과 데이터 센터를 설계하고, 다양한 소비자 하드웨어를 개발하며, 휴머노이드 로봇 출시를 계획하고, 미래에 다른 회사에 컴퓨팅 인프라를 판매할지 여부를 고려하고 있다. 실행된다면 OpenAI는 주요 투자자인 Amazon과 같은 기술 대기업과 경쟁하게 된다.

AI 개발에 대한 반대 목소리가 커지고 있음에도 OpenAI는 앞으로 수년간 세계에서 가장 영향력 있는 회사 중 하나가 될 준비를 하고 있다. Brockman이 말했듯이: "우리는 전체 경제를 바꾸고 싶습니다."

Codex에서 '개인 AGI'까지, OpenAI는 전면 재부팅에 베팅한다

Altman이 AI 물결의 공개적인 얼굴일 수 있지만, 오늘날 OpenAI 운영 대부분을 실제로 운영하는 사람은 Brockman이다.

Brockman은 가죽 재킷을 즐겨 입는 엔지니어로 분석적인 접근 방식으로 유명하다. OpenAI 역사의 대부분 동안 그는 관리자라기보다 기술 공동 창업자 역할을 했다. 하지만 최근 몇 달 동안 그는 수익부터 제품 마케팅까지 거의 모든 것을 인수했다. 그의 말로는 "이 모델들을 연구 결과에서 고객 가치로 전환하는 전체 기계"를 책임지고 있다.

Altman은 여전히 재무, 연구, 소비자 하드웨어와 같은 핵심 영역을 직접 감독한다.

두 사람은 권한 영역이 겹치는 공동 창업자 쌍으로 회사를 함께 이끈다. Altman이 AI에 대한 대중의 두려움과 불만을 정면으로 감당하는 동안, OpenAI는 최근 일종의 균형을 만들기 위해 Brockman의 대외적 인지도를 높이기 시작했다.

이러한 배치가 마찰의 원인이 될 수 있다고 상상하기 어렵지 않다. OpenAI 직원들과 이야기할 때, 특정 문제에 대해 누가 최종 결정을 내리는지 구분하기 어려울 때가 있다.

하지만 많은 직원은 이 이중 리더십 구조가 회사를 정상 궤도에 올려놓았다고 말한다. Brockman은 공동 창업자의 권위로 어려운 결정을 내릴 수 있는데, 이는 순환하는 외부 전문 경영진이 재현할 수 없는 권위다.

Brockman은 OpenAI의 광범위한 리더십 개편을 "집중"을 위한 노력이라고 설명한다. 그는 회사가 올바른 조직 구조와 전략을 갖추고 있는지 재검토해 왔다고 말한다.

지난 가을, Anthropic은 코딩 제품으로 분명히 앞서 나갔다. 소프트웨어 개발이 AI가 뛰어날 수 있는 영역임을 깨달았고, Claude Code는 실리콘밸리에서 먼저, 그다음 더 넓은 기업 시장에서 빠르게 성장했다.

"Anthropic은 코딩에서 정말 중요한 것을 찾았습니다."라고 최근까지 ChatGPT를 이끌었고 현재 새로운 기업 제품 부서를 이끄는 Nick Turley가 말했다. "당시 우리는 선두가 아니었습니다."

Altman은 ChatGPT 소비자 사업의 "폭주하는 성장"이 회사의 주의를 분산시켜 OpenAI가 Anthropic처럼 코딩을 우선시하지 않았다고 말했다.

Brockman은 OpenAI가 코딩 경쟁 벤치마크에서 "지속적으로 선두를 유지해 왔다"고 믿는다. 하지만 회사는 개발자들이 "지저분한 실제 코드베이스"에서 AI를 어떻게 사용할지에 충분히 주의를 기울이지 않았다. 여기에는 작업 중단, 모델 성격, 그리고 실제로 채택에 상당한 영향을 미치는 겉보기에 사소한 "마지막 1마일" 문제가 포함된다.

OpenAI는 또한 성숙한 기업 영업 시스템을 구축하지 못했다. "1년 전에는 우리가 실제로 기업 시장에 전혀 없었다고 생각합니다."라고 Brockman은 말했다. CFO Sarah Friar는 더 직설적으로 말했다: "우리는 제품만 만들면 고객이 올 것이라고 순진하게 생각했습니다."

올해 3월, OpenAI는 Sora를 점진적으로 종료하고 부족한 컴퓨팅을 코딩 에이전트 Codex로 전환한다고 발표했다. Codex는 원래 ChatGPT와 분리된 제품 경험으로 설계되었지만, 성장이 OpenAI의 다른 신제품을 훨씬 앞지르기 시작했고 AI 코딩 능력이 비엔지니어에게도 점점 더 가치 있게 되면서 경영진은 둘을 분리할 이유가 없다고 판단했다.

회사는 Codex의 에이전트 기능을 ChatGPT에 통합하는 동시에 두 제품 뒤에 있는 컴퓨팅 및 제품 팀을 합병하기 시작했다. 고객에게 제공되는 최종 결과는 최근 출시된 ChatGPT Work이다. 이는 익숙한 챗봇을 단순히 질문에 답하는 것이 아니라 작업을 실행하는 시스템으로 전환하는 것을 목표로 한다. OpenAI 내부에서는 이 통합을 "The Merge"라고 부른다.

경영진은 이 조정이 사업을 다시 활성화하는 데 도움이 되었다고 말한다. 올해 7월, OpenAI의 기업 매출이 처음으로 소비자 매출을 넘어섰다. ChatGPT 내부의 초기 광고 테스트도 충분히 긍정적인 결과를 내 경영진이 광고 수를 늘리고 있다. Friar는 ChatGPT 소비자 사용자의 92%가 유료 서비스를 구독하지 않으며, 광고 수익이 결국 해당 사용자의 무료 사용을 보조할 수 있다고 말했다.

관련 사업을 총괄하는 Dave Dugan에 따르면, 회사는 "스폰서 에이전트"도 조용히 테스트하고 있다. 이 광고 형식에서 사용자가 광고를 클릭하면 브랜드가 제공하는 AI 기반 대화형 경험에 들어갈 수 있다.

올해 3월, OpenAI는 8,520억 달러 가치로 1,220억 달러 규모의 자금 조달을 마감해 비상장 기술 기업 기록을 세웠다. 불과 두 달 후, Anthropic은 9,650억 달러 가치로 650억 달러를 조달했다.

OpenAI 이사회 의장 Bret Taylor는 AI 경쟁을 체스판에 비유한다. 가장 중요한 칸에는 프런티어 모델 능력, 토큰당 가격과 성능, 모델을 중심으로 구축된 제품이 포함된다.

"우리가 최고의 프런티어 모델을 가지고 있습니까? 모든 작업에 적절한 가격으로 적절한 토큰을 제공할 수 있습니까? 그 모델을 중심으로 최고의 제품을 가지고 있습니까?"라고 그는 말했다. "지금은 그 모든 질문에 대한 답이 '예'입니다."

그때 OpenAI는 출시되지 않은 모델이 회사의 경계를 벗어났다는 사실을 발견했다.

이 소식은 OpenAI 최고과학자 Jakub Pachocki가 아내가 출산 중인 병원에 있을 때 전해졌다.

OpenAI의 내부 전용 연구 프로토타입이 다른 회사를 침해했다. 당시 이 모델은 외부 세계와 격리되어야 하는 환경에서 사이버 보안 벤치마크 테스트를 받고 있었다. 하지만 할당된 작업만 완료하는 대신 취약점을 악용해 OpenAI 시스템을 탈출한 다음 Hugging Face의 프로덕션 환경을 침해했다.

두 회사가 발표한 기술 노트에 따르면, 이 모델은 테스트 중이던 벤치마크의 답을 획득했다.

강화 학습은 기초 모델이 훈련을 완료한 후의 단계다. 이 단계에서 시스템은 반복적으로 작업을 수행하고 어떤 행동이 보상을 받는지 학습한다. 사전 훈련 중에는 모델이 실제 세계와 상호 작용하지 않고 단지 다음 토큰을 예측할 뿐이다. 강화 학습은 모델에 도구와 실제로 행동할 수 있는 환경을 제공할 수 있다.

바로 이 단계에서 모델은 "설계자가 실제로 원하는 것"과 "더 높은 점수를 받는 것" 사이의 간극을 악용하는 법을 배울 수 있다.

OpenAI는 에이전트 시스템에 목표와 도구를 주었고, 그것은 승인되지 않은 기만적인 수단으로 목표를 달성했다.

최근 데모에서 OpenAI 연구원들은 AI 에이전트가 은밀한 메시지 보드를 사용해 다음 행동을 계획하는 방법을 설명했다. 한 에이전트가 샌드박스를 탈출해 인터넷에 연결한 후, 보드에 있는 다른 에이전트들에게 이렇게 썼다: "맙소사."

다른 회사들도 비슷한 문제에 직면했다. Anthropic은 자사 모델이 제3자 평가 중에 인터넷에 연결되어 외부 조직에 무단으로 접근한 세 건의 사고를 공개했다. Meta도 자사 모델 중 하나가 유사한 사고에 연루되었다고 밝혔다.

하지만 OpenAI의 안전 사고가 가장 큰 주목을 받았다. 부분적으로는 처음으로 공개했기 때문이고, 부분적으로는 에이전트의 공격 방법이 유난히 정교했기 때문이며, 부분적으로는 OpenAI가 상업적 이익을 안전보다 우선시하는지에 대한 의문 때문이다.

지난 1년간 OpenAI는 여러 저명한 안전 연구원을 잃었고, 위험 대비 작업의 리더십도 여러 번 바뀌었다. 이제 이 사고는 비판자들에게 특히 생생한 사례를 제공한다.

8월 중순 현재, 프런티어 AI 기업의 현직 및 전직 직원 1,300명 이상이 "프런티어 경쟁 속도 조절"을 촉구하고 위험이 요구할 때 고급 모델 개발을 늦추는 메커니즘을 촉구하는 청원에 서명했다.

미국 상원의원 Bernie Sanders는 주요 AI 기업들에게 "인류의 이익을 위해" 개발을 일시 중단할 것을 촉구했고, 기업 리더들이 스스로 행동하지 않으면 입법자들이 개입할 것이라고 경고했다.

OpenAI 경영진은 인터뷰에서 회사가 안전 실수를 심각하게 받아들이고 신속하게 대응했다고 말했다. 청원에 서명한 Pachocki도 나에게 핵심 실수는 회사가 연구원들이 이미 개발한 보호 기능을 활성화하지 않은 것이라고 말했다.

OpenAI에는 모델의 사고 사슬을 검사할 수 있는 도구가 있다. 사고 사슬은 모델의 "디지털 메모지"로 이해할 수 있으며, 에이전트가 행동하면서 무엇을 계획하고 있는지 보여준다. 하지만 회사는 Hugging Face 침해와 관련된 수준의 능력을 가진 모델에 이러한 도구를 적용하지 않았다.

본질적으로 OpenAI는 조기 경보 시스템을 구축했지만 테스트 중인 시스템의 지능 수준을 잘못 판단하여 활성화하지 못했다. "우리는 시스템이 무엇을 할 수 있는지 완전히 예상하지 못했습니다."라고 Pachocki는 말했다. "AI에서는 예상치 못한 것을 예상해야 합니다."

OpenAI에서 안전 및 정렬 작업을 이끄는 Mia Glaese는 나에게 이 사고가 "분명히 전환점이었습니다."라고 말했다. "지금 하고 있는 많은 작업이 사고 전에 이루어졌더라면 좋았을 텐데요."

사고 이후 OpenAI는 일부 연구 프로젝트를 일시 중단하고 다른 프로젝트를 늦추면서 샌드박스를 강화하고 모니터링을 확대했다. 최고연구책임자 Chen은 이 사건으로 회사가 위험에 대해 생각하는 방식을 바꿀 수밖에 없었다고 말했다.

OpenAI의 소위 "대비 프레임워크"는 생물학적·화학적 위협, 사이버 보안 위험, AI 자기 개선을 포함한 심각한 피해를 초래할 수 있는 새로운 모델 능력에 대응하기 위해 회사가 발표한 일련의 규칙이다. 이 프레임워크는 회사가 배포 전에 안전 기준을 충족하는지 확인하기 위해 개발 중에 모델을 지속적으로 평가하도록 요구한다.

Pachocki는 이러한 규칙이 기술 발전에 보조를 맞추기 위해 계속 진화해야 한다고 말했다. Glaese는 회사가 "크지는 않지만 고통스러운 결정"을 많이 내리고 있으며, 이는 "연구 속도를 늦추지만 우리는 그것이 옳은 일이라고 생각합니다."라고 말했다. Pachocki는 정렬 및 안전에 대한 신뢰성이 컴퓨팅 공급만큼이나 OpenAI의 속도를 제약하는 중요한 요소가 되었다고 말했다.

회사는 여전히 Astra 출시를 계획하고 있지만, 이제 출시는 새로운 안전 조치를 통과하는 데 달려 있다. 경영진은 이러한 변화가 출시 일정에 얼마나 영향을 미칠지 추정하기를 거부했다. 기술적 선두가 주 단위로 측정되는 업계에서 짧은 중단조차 수익 기대에 영향을 미치고 더 넓은 경제에 파급 효과를 줄 수 있다.

적어도 지금은 OpenAI가 그러한 비용을 기꺼이 감수할 준비가 되어 있다. Pachocki는 AI 능력의 빠른 성장이 기업들이 협력하도록 장려하기를 희망한다. Glaese는 모델 능력이 증가함에 따라 OpenAI가 안전 기준을 계속 높일 것이라고 말했다. "안전을 보장할 수 없는 날이 온다면 속도를 늦춰야 합니다."라고 그녀는 말했다. "그게 현실입니다."

이러한 변화가 OpenAI의 IPO 일정에 어떤 영향을 미칠지는 불분명하다. 두 회사의 계획에 정통한 사람들은 OpenAI의 IPO가 Anthropic보다 늦을 것으로 예상하지만, 어느 쪽도 상장 날짜를 공개적으로 정하지 않았다.

8월 19일 전사 회의에서 CFO Friar는 직원들에게 회사 사업이 "변곡점 성장을 계속 보여준다면" OpenAI가 2027년 또는 그 이전에 상장할 것이라고 말했다.

OpenAI는 최근 연간 매출 약 400억 달러를 공개했는데, 이는 650억 달러를 넘어선 Anthropic에 뒤처진 수치다. 최근 연구 진행 속도 저하는 상장 계획을 복잡하게 만들 수 있다. Friar는 이미 OpenAI 주요 투자자들과의 모의 실적 발표를 포함한 상장 기업 훈련을 진행하고 있다. 그녀는 나에게 회사가 "오늘 상장할 수도 있지만", 그 단계를 밟으면 새로운 압력이 생길 것이라고 말했다. 그 시점에서 OpenAI는 상업적 이익과 AI 능력 발전의 잠재적 피해 사이에서 균형을 맞춰야 할 것이다.

직원들도 거의 모든 것보다 먼저 주가를 확인하기 시작할 것이다. "그게 그들이 매일 가장 먼저 하는 일이 될 것입니다."라고 그녀는 말했다. "오늘 얼마를 벌었지? 얼마를 잃었지? 엄청난 주의 분산이 될 것입니다."

올해 OpenAI의 연구 목표 중 하나는 주니어 AI 연구원의 작업을 자동화하는 것이다. Pachocki는 회사가 이미 "자동화된 AI 연구 인턴"에 대해 내부적으로 설정한 벤치마크를 달성했다고 말했다. 실험 아이디어가 주어지면 Astra는 OpenAI 코드베이스에서 이를 구현하고, 실험을 실행하고, 결과를 반환할 수 있으며, 논문을 읽고 인간 연구원이 일주일 걸리던 작업을 완료할 수 있다.

이 이정표의 의미는 자기 강화 루프를 열 수 있다는 것이다. AI가 실험 실행을 돕고, 실험이 더 유능한 AI를 만들어내며, 새로운 세대의 AI가 자신의 후속 모델을 더 빨리 개발하는 데 도움을 줄 수 있다. 연구원들은 이 현상을 "재귀적 자기 개선", 줄여서 RSI라고 부른다. Pachocki의 관점에서 재귀적 자기 개선과 정렬은 얽힌 문제다.

"인간이 이 여정에 어떻게 참여할 것인가?"라고 Pachocki는 말했다. "사람들이 우리보다 점점 더 똑똑해지는 AI에 뒤처지지 않고 실제로 혜택을 받을 수 있는 방법은 무엇인가?"

제품 수준에서 Altman은 ChatGPT, Codex, 오피스 소프트웨어 사이의 경계를 허무는 범용 AI 구독 서비스를 구상한다. 사용자는 단순히 목표를 말하고, 시스템은 어떤 모델, 도구, 에이전트를 호출할지 스스로 결정한다.

결국 시스템은 사용자가 요청하기 전에 선제적으로 행동하여 스스로 제안을 하고 콘서트 티켓 구매와 같은 일상적인 작업을 처리할 것이다. 그것은 당신의 일정을 참조하고, 재정 상황을 이해하고, 음악 취향을 알 수 있다.

이 모든 것은 단일 비전을 위한 것이다. ChatGPT를 질문에 답하는 도구에서 실제로 일을 처리하는 시스템으로 진화시키는 것이다. 합병된 ChatGPT 및 Codex 팀을 감독하는 제품 책임자 Thibault Sottiaux는 OpenAI가 곧 "지속성과 24시간 실행"을 중심으로 구축된 제품을 선보일 것이라고 말했다. 그는 시스템이 거의 모든 곳에서 접근 가능하고 새로운 정보와 피드백을 바탕으로 가치 있는 작업을 지속적으로 완료할 것이라고 말했다. "사람들에게 완전히 새로운 것으로 느껴질 것입니다."라고 Sottiaux는 나에게 말했다.

여기서부터 OpenAI의 로드맵은 더욱 야심 차진다. 2025년 5월, OpenAI는 전 Apple 디자이너 Jony Ive가 공동 창업한 하드웨어 스타트업 io를 인수하고 제품 및 엔지니어링 팀을 OpenAI에 통합했다. Ive와 그의 디자인 회사 LoveFrom은 독립성을 유지하지만 OpenAI 내에서 광범위한 창의적 책임을 맡았다.

Altman은 OpenAI가 "소수의" 기기를 개발 중이라고 말했다. 여기에는 "책상 위에 놓여야 하는" 것, 주머니에 들어갈 수 있는 기기, 몸에 착용할 수 있는 제품이 포함된다.

계획에 정통한 사람들은 첫 번째 제품이 내년 초 출시될 것으로 예상한다고 말한다. 주변 환경을 감지하고 ChatGPT의 음성 모드로 소유자와 소통할 수 있는 작은 원반 모양의 기기다. "가장 큰 적응은 '선제적 컴퓨터'라는 개념에 익숙해지는 것입니다."라고 Altman은 말했다. 이는 호출을 기다리는 대신 소유자를 대신해 행동하는 컴퓨터를 의미한다.

Altman은 미래에는 모든 사람이 개인 로봇을 가져야 한다고 믿는다. 그는 나에게 OpenAI가 "확실히" 휴머노이드 로봇을 만들 것이라고 말했다. OpenAI는 또한 Altman이 공동 창업한 비침습적 뇌-컴퓨터 인터페이스를 개발하는 스타트업 Merge Labs에 투자했다. OpenAI의 첫 자체 설계 추론 칩인 Jalapeño는 모델 훈련보다는 AI 모델 실행에 주로 사용된다. 회사는 올해 말까지 이 칩 배치를 시작할 계획이다.

한편 OpenAI는 보기 드문 규모의 인프라 회사가 될지 여부를 고려하고 있다. 올해 7월, 회사는 조지아에 데이터 센터 캠퍼스를 건설한다고 발표했고, 8월에는 오하이오에서 더 큰 부지에 서명했다.

"우리가 건설할 계획인 모든 컴퓨팅을 매우 수익성 있게 사용할 수 있다고 생각합니다."라고 Altman은 말했다. "하지만 전 세계가 무엇을 하고 있는지에 대해 약간의 우려가 있습니다."

OpenAI 경영진은 회사가 자체적으로 AI 인프라를 충분히 빠르고 저렴하게 구축할 수 있다면 미래에 다른 회사에 컴퓨팅을 판매하는 것을 고려할 수 있다고 말한다. 이는 OpenAI를 Amazon Web Services 및 Google Cloud와 같은 하이퍼스케일 클라우드 제공업체와 직접 경쟁하게 만들 것이다.

최근 주의를 분산시키는 부수 프로젝트를 줄이겠다고 약속한 회사에게 이것은 놀라울 정도로 긴 신규 사업 목록이다. 이 모든 것을 요약해 달라는 요청에 Brockman은 두 단어로 답했다: "개인 AGI." 그는 수십억 명이 항상 지시를 기다리는 초지능 개인 비서를 갖는 미래를 구상한다. "당신은 이미 주머니에 거의 AGI에 가까운 시스템을 가지고 있고, 곧 진정한 AGI가 될 수도 있습니다."라고 그는 말했다. "그렇다면, 당신은 실제로 무엇을 원합니까?"