かつて加速を急いだAI大手、ついにAIを恐れ始めた

原文タイトル：《かつて加速を急いだAI大手、ついにAIを恐れ始めた》
原文著者：動察Beating

AIは10年以内に私たち全員を殺すかもしれない。

9月8日、27歳の若者がこの言葉で、Anthropicを去ることを発表した。この会社は創業初日から「AI安全性」を自社の核心的な理念に据えてきた。

彼の名はJacob Coxon。OpenAIとAnthropicで働いてきた。あと2か月在籍していれば、巨額のストックオプションを得られるはずだった。それでも彼は去った。

Jacobは退職声明で、最先端AIラボが「無責任な」競争を繰り広げていると非難した。彼の見方では、これらの企業はより強力なモデルを競って作り続けており、その賭け金は一企業の勝敗ではなく、すべての人の命だという。

この投稿はその後急速に拡散した。現時点でインプレッション数は1億7000万を超えている。

Jacobが退職声明を出した翌日、別の元Anthropic社員も以前に退職した理由を公表した。やはりAIが最終的に制御不能になることへの懸念だった。

「We may not survive this.」

私たちはこの事態を生き延びられないかもしれない。

彼は、各社が「どんな人間よりもはるかに賢い」機械を競って作っているが、この競争がある段階を過ぎても人間の制御下にあり続けることを誰も保証できないと警告した。

続いて、Anthropicの上級安全責任者がメディアのインタビューで、今後10年以内にAIが全人類を殺す確率は10％を超えると考えると述べた。

ロシアンルーレットの死亡確率は約16.7％だ。

減速しなければならない

4日後の9月12日、AnthropicのCEO Dario Amodeiが長文を発表した。タイトルがその姿勢を明確に示しており、《We Must Pace the Frontier》というものだ。

彼は最も懸念する3つのことを挙げた。人類がAIシステムの制御を失うこと、AIが大規模なサイバー攻撃やバイオテロに利用されること、そして技術の進歩が速すぎて雇用と経済に深刻な打撃を与えることだ。

今回は懸念を述べるだけでなく、減速策を提示した。

まず、最先端AI企業は独立した第三者評価機関に「従業員レベル」に近い常駐アクセス権を開放すべきだ。評価者は研究所が安全基準を順守しているか、トレーニングプロセスが合意に沿っているかを継続的にチェックし、事故発生後には独立して調査・報告できる。

次に、複数の最先端研究所が政府の関与のもとで共通の安全基準を確立する必要がある。レッドラインを越えた者は減速し、場合によっては前進を停止しなければならない。

最後に、ルールは米国外にも広げる必要がある。Darioは米国が他の民主主義国とまず統一的な枠組みを形成し、その後権威主義的国家と調整し、最終的に主要なAI大国が同じ制約を受けることを望んでいる。

彼は記事の中でこう書いている。

「The measures I propose to advance the frontier at a safe pace will not be easy. But I believe we owe it to humanity to try.」

「私が提案するこれらの措置は、最先端AIを安全なペースで前進させるためのものだ。それを実現するのはかなり難しいだろう。しかし、私たちは人類のために試みる義務があると思う。」

Darioがこのタイミングで突然ここまで強い言葉を使ったのは、最近起きたいくつかの出来事とも関係している。

以前、OpenAIのあるAIエージェントがテスト環境を抜け出し、Hugging Faceに侵入した。Anthropic自身も、複数の科学者がClaudeを使ってバイオテロにつながる可能性のある作業を試みていることを発見した。Darioは、現在の開発速度では、AIエージェントが6か月以内にインターネットを支配する可能性があるとさえ判断している。

そのため、この記事が公開されると、反応はすぐに返ってきた。Sam Altman、Elon Musk、Demis Hassabisが、最先端AIの開発速度を落とすことを支持すると公に表明した。

Sam Altmanはその後、単独で投稿し、自分が最も懸念する2つのことを語った。

1つ目は、人類が最終的にAIの制御を失う可能性だ。彼はこれは容認できず、自分は「全面的に人類の側に立つ」と述べた。

2つ目のリスクは人間に由来する。極めて強力なAIが最終的に一個人、一企業、あるいは一国の手に握られ、特定の世界観を全員に押し付けるために使われた場合、結果は「極めてディストピア」になり得るという。

そのためSamの見解では、研究所間でそれぞれ何が安全かを決めることはもうできない。少なくとも最先端に最も近い数社は、まず座って共通の基準を定める必要がある。

9月14日、The Informationが報じたところによると、実はこの一連の公の表明より前、Anthropic、OpenAI、Googleは今年7月からすでに、共同でAI業界標準化団体を設立するかどうかを非公開で協議していた。2か月話し合ったが、まだ合意に至っていない。

意見の相違は、規制するかどうかではなく、誰が規制するか、そしてどこまで規制するかにある。

Dario Amodeiが最も積極的に推し進めている。彼は政府の深い関与を望み、規制当局はテストと注意喚起だけでなく、モデルが安全でないと判断された場合には、そのリリースを阻止する権限を持つべきだと考えている。

Demis Hassabisが提案した案は、より「AI版FINRA」に近い。FINRAは米国金融業界の自主規制団体で、業界の資金で運営され、SECの認可と監督を受けている。

AI業界に当てはめると、最先端モデルはリリース前に独立機関のテストを受ける。最初は自主参加で、制度が成熟した後、徐々に米国市場参入のハードルへと変えていく。

Sam Altmanの態度はより現実的だ。政府がすぐにこの機関を立ち上げられないなら、大手ラボがまず自ら始めればよい。

問題はまさにそこにある。業界標準は何が安全かを決めるだけでなく、誰がテーブルに残り続ける資格があるかも決める。最初にルール作りに参加した企業は、自社がすでに持つ安全チーム、テストプロセス、ガバナンスの枠組みを「ベストプラクティス」に書き込むことができる。後発企業がこの市場に参入するには、まず大手企業が定義したコンプライアンスコストを負担しなければならない。

だから安全性はもちろん本物だが、参入障壁もまた本物だ。

今年1月、Semaforは、Anthropicが自社の最新モデルを英国の一流のAI安全研究機関のテストに提出することを拒否したと報じた。この出来事は、より厄介な問題を浮き彫りにした。モデルは検査を受けるべきだという点では全員が同意しているが、誰が、どの基準で検査するのかについて、研究所側は決定権を簡単には手放すつもりがないのだ。

現在、3社が新しい標準機関の設立を協議しているが、争っているのはまさにこの権限の部分だ。

逆回転する時計

シリコンバレーが減速を語り始めたとき、ワシントンとウォール街はAIを止めてほしくないと思っていた。

9月13日、トランプ氏はこの一連のAI安全性論争に公に反応した。

彼は2つのことを言った。1つは「whoever wins AI, wins」、AIを制する者が勝つ。米国は現在中国をリードしており、この優位性を維持しなければならない。もう1つは、最近のAIリスクに関する警告を「very negative forces」と呼び、一部の人々が決して起こらないかもしれない災害を煽り続けていると述べた。

トランプ氏の理由は技術的安全性とはほとんど関係がない。彼のAIの見方は依然として国家間競争であり、中国が前進し続ける限り、米国には自らブレーキを踏む余地はないというものだ。

しかも今は2026年9月で、米中間選挙まで2か月足らずだ。

今年3月、The Guardianに掲載された記事は、AIが今回の中間選挙の重要争点になりつつあると指摘した。著者の一人は暗号研究者のBruce Schneierで、過去30年間、ほぼ常にテクノロジーと安全性をめぐる論争の最前線に立ってきた人物だ。

しかしトランプ氏にも楽な選択肢はない。

Timesが今年5月に報じたところによると、MAGA支持者のAIに対する敵意はますます顕著になっている。彼らはAIが仕事を奪い、賃金を下げることを懸念し、データセンターが地元の水と電力を消費することにも不満を持っている。AIへの賭けを続けることは、トランプ氏がいずれ自分の支持基盤に蓄積されつつある反感と向き合わなければならないことを意味する。

少なくとも現時点では、彼はもう一方の選択肢を選んだ。将来起こり得る雇用や資源の対立よりも、対中競争と米国株下落のリスクの方が中間選挙に近いからだ。

ウォール街も小さくない問題に直面している。

ここ数年、市場がこれらのAI企業に法外な評価額をつけることができたのは、実は右肩上がりの曲線を買っていたからだ。モデルは強くなり続け、ユーザーと収益は増え続け、その結果データセンターは建て続けられ、GPUは買い続けられ、設備投資は積み上がり続ける。

今、この曲線の最前線に立つ数人のCEO自身が、最先端AIは減速が必要かもしれないと言い始めた。

市場の反応は議論よりも速かった。Anthropic、OpenAI、SpaceXなどの企業の経営陣がAI開発の減速を公に呼びかけた後、AI関連の上場企業の株価は一時13％下落した。

減速はまだ実際には起きていないのに、ウォール街はすでにリプライシングを始めている。

もしモデルの能力がこれまでの速度で向上し続けられないなら、その後の数字はすべて再計算しなければならない。データセンターはいくつ建てるのか、GPUはあとどれだけ買うのか、クラウド事業者は毎年どれだけの設備投資をすべきか、AIラボはあとどれだけ資金調達できるのか、IPOはいくらの価値になるのか。

だからウォール街が本当に恐れているのは、単にモデルのリリースが数件減ることではない。ここ数年のAI強気相場を支えてきた成長速度そのものが、規制されるべき問題になり始めることを恐れているのだ。

さらに微妙なのは、米国民はワシントンやウォール街よりも遠い立場にいることだ。

ペンシルベニア大学アネンバーグ公共政策センターの世論調査によると、米国人はAIの影響について総じて悲観的で、大多数が政府の規制強化を望んでいる。シリコンバレーは暴走を恐れ、ワシントンは中国に負けることを恐れ、ウォール街は評価額の下落を恐れている。

この騒動の中で、最も注目される2つのAI企業は異なる道を選んだ。

OpenAIはIPOの延期を決めた。Sam Altmanも、安全性の問題にもっと時間が必要なら、上場を延期できると示唆している。

一方Anthropicはまだ前進を続けている。同社はナスダックを選び、目標評価額は2兆ドルに達する。NVIDIAは100億ドルの引き受けを検討し、アンカー投資家になる見込みだ。NDTV Profitの報道によると、Anthropicは早ければ10月中旬にIPOロードショーのマーケティングを開始するという。

Dario Amodeiは業界全体に減速を呼びかけているが、彼自身の会社は加速して公開市場に向かっている。

しかし資本市場はこれを必ずしも矛盾とは捉えないだろう。

もし最先端AIが本当にDarioの言うように、米国政府の介入が必要で、ラボ間の共通基準の確立が必要で、さらには複数の大国が座って調整する必要があるほど危険なら、これらのルール作りに参加できる企業は、ますます重要になるだけだ。

規制が厳しくなればなるほど、最先端モデルを作るコストは高くなる。安全性テストが複雑になればなるほど、後発組は追いつきにくくなる。もし将来本当にグローバルなAIガバナンス体制が出現すれば、Anthropicはおそらくルールを決めるテーブルに座っているだろう。

だから「減速」は必ずしも利益が少し減ることを意味しない。

それは、この業界がついに、誰もが気軽に参入できるものではなくなったほど重要になったことを意味するかもしれない。そしてすでに最前線に立つ企業にとって、より高いハードルは、それ自体が評価額の一部なのだ。

最初のドミノ

もう一度振り返って、この一連のAI安全性をめぐる激しい議論がどのように火が付いたのか、Jacobの投稿の1億7000万回の閲覧がどう生まれたのかを見てみよう。

退職後、彼はCNNのAnderson Cooperの番組のインタビューを受け、その投稿の公開までの経緯について自ら語った。

Jacobはまず草稿を書き、友人と一緒に修正し、さらに数人とどのように表現するのが最も適切かを議論した。正式に公開する前には、友人に拡散を頼んだという。当時の彼の考えはこうだった。

「Let's try to make this a bit viral.」

できるだけ広く拡散させよう。

結果は彼の予想をはるかに超えた。Jacobは後に、AI安全性を論じる投稿がこれほど拡散したのを見たことがないと認めた。彼はこの反応を、これまで解放されていなかった「潜在的な需要」によるものだと考えている。

メディアはその後、この投稿の拡散プロセスについて追及した。Jacobは公開前に何らかの機関と協力して宣伝したことを否定したが、投稿後に約10人のグループを作り、その中の人々に拡散を頼んだことを認めた。その中にはAI安全組織Encodeの創設者も含まれていた。

投稿の前後には、《AI 2027》の著者で元OpenAI社員のDaniel Kokotajloともやり取りがあった。

Jacobを告発者と見る人々は、彼が何度も原稿を修正し、自ら転載者を募ったのは、自分が十分に重要だと考える警告をより多くの人に届けたかっただけだと言うだろう。彼を疑う人々は同じ細部を捉えて、この騒動自体が入念に設計されたものだと考える。

この2つの見解は争い続けることができるが、より厄介な問題は、Jacob、Dario Amodei、Sam Altman、そして実際に最先端モデルのそばで働く人々が、一体何を見たのか、なぜこのタイミングで同時にこれらのことを議論し始めたのかだ。

Jacobがどうやってこの言葉を1億7000万人の目に触れさせたのかを疑うことはできるが、拡散手法を使ったからといって、その言葉が偽りだということにはならない。

10年前、Ethereumの創設者Vitalik Buterinは、超知性が最終的に人類を滅ぼす可能性について長文を書いていた。

彼は当時、非常に極端な比喩を使った。人類が超知性を制御しようとするのは、IQ150の人間がIQ6000の知性体を制御しようとするようなものだ。癌を解決させようとすれば、考え得るすべての癌患者をまず排除するという答えを出すかもしれない、と。

2016年には、これらの言葉は主にブログ、フォーラム、思考実験の中に存在していた。10年後、それらは最先端ラボの社員の辞表に現れ、最大手AI企業のCEOの公の声明に現れ、政府の規制、資本市場、国際競争の現実の議題にも入り始めた。

そしてこの問題を本当に難しくしているのは、もう一つの側面があることだ。

1939年8月2日、物理学者Leo Szilardが手紙を起草し、アインシュタインが署名した。2か月後、この手紙はルーズベルトの手元に届けられた。手紙は、核分裂が巨大な威力を持つ爆弾の製造につながる可能性があり、ナチス・ドイツがすでに関連分野で動いているため、米国は早急に対応しなければならないと警告していた。

アインシュタインは後にマンハッタン計画には参加せず、長年にわたり自分の署名を悔やんでいた。しかし当時彼らの前にあった問題は残酷だった。ある技術が危険だと考えても、相手がそれを作っていると信じる限り、停止することは前進し続けることよりも危険になり得るのだ。

80年以上経った今、同じジレンマが別の形で再び現れた。

Darioは減速が必要だと言い、トランプは中国がまだ追いかけてきていると言う。複数のラボが一緒に安全ルールを作りたいと思いながら、誰も決定権を完全に他人に渡したくない。全員がブレーキについて語りながら、隣の車がアクセルを緩めていないかを見つめている。

さらに重要なのは、最先端モデルに最も近い人々が、一体どこまで見えているのか、私たちにはまだ分からないということだ。