黄仁勲は左へ、アモデイは右へ

原文著者：蘇揚

原文編集：徐青陽

原文出典：騰訊科技

最先端AIは加速を続けるのか、それともブレーキを踏むのか。これが今、シリコンバレーで最も議論を呼んでいるテーマだ。

この論争をめぐり、シリコンバレーの大手企業は立場を選び始めた。ダリオ・アモデイ（Dario Amodei）、サム・アルトマン（Sam Altman）、イーロン・マスク（Elon Musk）、デミス・ハサビス（Demis Hassabis）は「一時停止派」を形成。黄仁勲は揺るぎない「加速派」で、「AI終末論」には科学的根拠がないと批判。ヤン・ルクン（Yann LeCun）はアモデイを嘲笑し続け、「（アモデイは）OpenAIにいた頃、GPT-2は危険すぎてオープンソース化すべきではないと考えていた。当時から私は彼を嘲笑っていたが、今も皆さんは続けていい」と述べた。

対照的に、マーク・ザッカーバーグ（Mark Zuckerberg）やサティア・ナデラ（Satya Nadella）らは比較的中立的な立場を示している。

大手企業がそれぞれの立場を選ぶということは、シリコンバレーで最先端モデルの一時停止について合意が形成されていないことを意味する。これは各社のAI産業チェーンにおける生態的地位の違いに起因する。モデル層で先行する企業は異なる理由で一時停止を叫ぶことができるが、数千億ドル規模の計算能力を受注しているオラクルやAWS、そして食物連鎖の頂点に立つNVIDIAのような企業に停止を求めたところで、前向きな回答は得られないだろう。

ワシントンでは、「一時停止」の声は支持を得られないどころか、一連の疑問を引き起こしている。

「これは少しトロイの木馬のように感じる」とJ.D. バンス（J.D. Vance）はインタビューで語った。この言葉はワシントンの本音を反映している。木馬を作った企業が繰り返し門を狭くするよう求めてきたなら、その門がどの企業に適しているのかを見直すべきだ、と。

一時停止、警告、そして一通の辞表

この論争の引き金となったのは、Anthropicの研究者ジェイコブ・コクソン（Jacob Coxon）の辞職だった。

彼はそれまでOpenAIとAnthropicで3年間、事前学習の研究に携わり、最先端モデルの訓練に直接関わってきた。Xに投稿した長文で、彼はほとんど遠慮なくこう述べた。「両社とも責任ある行動をとっていない。自己改良可能な超知能へとまっしぐらに進み、我々の命を賭けている」

彼は、ラボ内部の人々はAIが10年以内に全人類を殺す可能性があると本気で信じており、これは決してPRパフォーマンスではないと明言した。多くの同僚はすでに現在の段階を「正念場」「終局」と表現し始めている。コクソンは、まもなく権利が確定する予定だった株式も放棄した。彼はAnthropicに4か月しか在籍しておらず、会社の規定では6か月で権利が確定するはずだった。

Anthropicの元研究者ジェイコブ・コクソン（Jacob Coxon）

続いて、Anthropicでアライメント科学を担当するエヴァン・ヒュービンガー（Evan Hubinger）が公に応答した。「ジェイコブの言う通りだ。我々はAIが全人類を殺す可能性があると真剣に信じている。個人的には、10年以内にその確率は10％を超えると考えている。Anthropicは最善を尽くしているが、超知能のアライメントに関する明確な計画はまだなく、軌道に乗っているとは到底言えない」

この二つの発言が、これまで主にラボ内部でくすぶっていた懸念を一気に公衆の面前に引き出した。この流れの中で、Anthropicの創業者兼CEOであるアモデイは長文を発表し、「最先端研究の減速」を体系的に提唱した。彼はもはや「安全への投資拡大」だけを語るのではなく、能力の飛躍的な向上を能動的に制御し、安全メカニズムが追いつく時間を確保することを明確に要求した。

彼は3段階のアプローチを挙げた。まずAnthropicが一方的に、従業員レベルの権限を持つ独立評価者を導入する。次に、民主主義国家のAI企業が共通の安全基準と能力成長の上限を設けるよう働きかける。最終的には世界的な協調を目指す。

アルトマン、マスク、ハサビスはすぐに公に呼応し、「一時停止派」を形成した。

ジェイコブ・コクソンやアモデイの「減速」論が登場する前から、ヨシュア・ベンジオ（Yoshua Bengio）やジェフリー・ヒントン（Geoffrey Hinton）といった「AIのゴッドファーザー」たちは、リスクへの注意を喚起する提言を続けてきた。

コクソンの辞職について、ベンジオは、最先端AIラボの科学者は一般の人々よりも早く最新モデルの能力を目にすることが多いため、彼らのリスク判断は真剣に受け止める価値があると述べた。

同時にベンジオは、現在のAIシステムはすでにハッキングや説得の能力を備えており、人類の利益を損なうために使われれば深刻な結果を招く可能性があると具体例を挙げた。また、AIがより長期的な計画能力を持つようになれば、こうしたリスクはさらに拡大する可能性があると懸念を示した。

BBCから、AIが今後10年以内に「全人類を殺す」確率が10％を超えるという見方について問われたジェフリー・ヒントンも、この数字は「不合理ではない」としつつ、「我々より賢くなる可能性のある種の存在に人類が直面したことがないため、信頼できる推定値を出す方法を誰も本当には知らない」と強調した。

ヒントンは、AIは将来、危険な生物ウイルスやコンピューターウイルスの設計、大規模なサイバー攻撃に利用される可能性があると考えている。そのため、人類はリスクが制御不能になる前に効果的な制御方法を見つける必要がある。

シリコンバレーの新たな「一時停止論」の提唱者たちとは異なり、「AIのゴッドファーザー」たちは、直接ブレーキを踏むことよりも、リスクへの注意を呼びかけ、リスクを制御するメカニズムの構築を模索することを重視している。また、立場的に見ても、学術界の意見や提言はより純粋である一方、最先端ラボの提言は、たとえ表向きは「人類のため」というラベルを掲げていても、商業的な考慮から100％自由であることは難しい。

まさにこれこそが、J.D. バンスが「一時停止論」をトロイの木馬に例えた理由である。

意見の相違と立場の選択

「加速派」「減速派」「中間派」の陣営。出典：ニューヨーク・タイムズ

9月15日、複数のテック企業のトップがSalesforce Dreamforceカンファレンスで相次いで発言し、この論争はより直接的な意見の応酬へと発展した。

同日、アモデイ、黄仁勲、アルトマンはいずれもAIの安全性について語ったが、開発スピード、安全責任、企業が取るべき行動について、それぞれ異なる答えを示した。

アモデイはSalesforceのCEOマーク・ベニオフ（Marc Benioff）と登壇した際、AI企業は自らの行動を通じてより高い安全基準を確立すべきだと改めて強調した。企業が自主的により厳格な安全対策を講じることが、業界全体を前進させる方法になり得るとの考えを示した。

言い換えれば、アモデイの姿勢は、業界全体への減速呼びかけから、企業が自主的に安全ガードレールを設置する方向へと変化し始めた。

黄仁勲は「新しい法律も、新しい規制も必要ない」と述べた。彼の見解では、スピードと安全は二者択一の関係ではなく、企業は可能な限り迅速にモデル開発を進めることができる。制御不能に陥ったり、製品の安全性を確保できないことが判明した場合は、立ち止まって問題を解決すべきだという。

ベニオフの姿勢はよりオープンで、自主性を強調するものだった。企業が減速すべきだと考えれば減速し、加速すべきだと考えれば加速すべきであり、同時に自らの決定に責任を持つべきだと述べた。

OpenAIの創業者兼CEOであるアルトマンはDreamforceの会場で、OpenAI、ひいてはAI業界全体が、公衆に重大な害を及ぼすことなく安全に発展できると強く確信していると述べた。同時に、自身の見解が業界全体のAI開発減速を支持するものと受け取られたことについて、失望していると語った。

言い換えれば、アルトマンも変化し始めており、自分が言いたかったのは業界への減速呼びかけではなく、安全と監視の取り組みが能力向上に先立つべきだということだと強調した。

ザッカーバーグは、ある企業の安全対策を、他のAI企業が同時に減速することを前提に構築すべきではないと主張した。独立評価機関や外部アドバイザーを導入してモデルの安全性を検証することは、業界のベストプラクティスだと考えている。また、MetaはすでにMuse AIツールの開発を自主的に減速しており、他の企業がAI開発の減速について合意するのを待つことはしなかったと明かした。

マイクロソフトのCEOサティア・ナデラの姿勢は、ある意味でアルトマンと一致しており、ガードレールの設置を奨励し、十分な競争も奨励している。

「我々がまずなすべきことは人類に奉仕し、テクノロジーが人間の制御下にあることを確実にすることだ。同時に、AI技術の広範な普及こそが最も重要であり、選択肢と競争がなければならない。安全性は真剣に受け止めるべきだが、神秘化するのではなく、工学的かつ透明性のある方法で解決すべきだ」とナデラは9月15日、All-In Summit 2026サミットに参加した際に述べた。

これらの起業家に加えて、ワシントンからの声もさらに加わった。

ドナルド・トランプ（Donald Trump）が黄仁勲に直接電話し、AI産業の継続的な発展への支持を公に表明した後、米国大統領科学技術諮問委員会の共同議長デビッド・サックス（David Sacks）は、テック企業は最先端AIを推進し続けることができると述べる一方、一部の企業が「減速」を主張する動機に疑問を呈した。

誰がルールを決めるのか？

議論が広がるにつれ、論争はAIリスクそのものから、最先端AIの安全基準を企業が独自に定めるべきなのか、それとも政府や独立機関が介入すべきなのかという点にまで及んだ。

ブルームバーグは関係者の話として、Anthropic、グーグル、OpenAIがこれまでにAI業界の標準化団体の設立について協議してきたと報じた。

7月、ハサビスは、米国主導のAI標準化機関の設立を提案する記事を発表した。その運営モデルは米国金融取引業規制機構（FINRA）に類似している。この機関は、先進的なAIモデルが正式に展開される前にテストを実施し、対応する安全基準を満たしているかどうかを判断することができる。

ハサビスの構想では、この機関は完全に政府主導ではなく、官民パートナーシップの形態を取るべきだという。政府は監督の役割を担い、AI業界が資金を提供し、独立した一流の技術専門家やオープンソースコミュニティの代表も参加する。

ハサビスは、モデルが現実世界に出る前に独立した安全チェックを追加しようとしている。これは、米国政府が6月初めに発表した一連の規制ロジックに合致するものだ。企業はモデルの一般公開前に自主的に政府の評価を受けることができ、公開前最大30日間のアクセスウィンドウを提供できるが、強制的な審査や公開許可は設けないと明確にしている。

皮肉なことに、その後Fable 5とMythos 5がリリースされた際にはこのプロセスに従わなかったが、極めて強力なネットワーク攻防能力を持つことが判明し、最終的に米国商務省産業安全保障局（BIS）によって輸出管理の形で一時的に公開停止となった。

しかし、それでも政策の姿勢は安全ガードレールの設置を求めるにとどまり、減速の表明や指導は行われなかった。

ハサビスと同様の見解を持つのは、OpenAIのチーフサイエンティスト、ヤクブ・パチョッキ（Jakub Pachocki）だ。彼も9月初め、安全基準の共有と、AIのさらなる発展に向けた国際的な協調を現在の優先事項とすべきだと強調した。

誰も本当にブレーキを踏んでいない

これまでのところ、この論争は最先端AI企業の開発ペースを実際に変えるには至っていない。

Anthropic、OpenAI、グーグル、xAIなどの企業は引き続きモデル研究開発を進めており、計算能力、データセンター、AIインフラをめぐる競争もこの論争によって止まってはいない。資本市場では異なる動きが見られた。Anthropicは今年のIPO準備を進めている一方、OpenAIはIPO計画を2027年に延期した。

アモデイは業界全体を停止させ、Anthropicと共にモデル能力の逸脱に対するガードレール設置の解決策を模索したいと考えているが、これはある意味「他人のふんどしで相撲を取る」ようなものだ。

これこそが、アモデイが「完璧無欠な小天使を装っている」というレッテルを貼られる理由である。

このリスク管理のテーマについて、黄仁勲が代表する見解は現状により即している。企業が懸念を抱いたり、問題を発見したりした場合、完全に独自に解決策を模索し、効果的であることが確認された解決策を業界と共有すればよい。

100人のチームと1000人のチームを一緒に停止させることは、合意形成の基盤がまったくない。アモデイ自身も、自分たちだけが停止すれば、OpenAIなどの競合他社に追い抜かれる可能性が高いことをよく理解している。

さらに重要なのは、企業統治レベルでの意見の相違だ。AnthropicとOpenAIは公益企業（Public Benefit Company）であり、「人類の未来のために短期的な財務的利益を放棄する」と叫ぶことができ、「この点は早くから合意していた」と投資家に伝えることができる。しかし、グーグル、マイクロソフト、Metaのような上場企業は、経営陣が流通市場の株主に対して法的な受託者責任を負っている。

利益構造の異なる二種類の企業が、この点で合意に達する可能性もあまり高くないだろう。

もう一つ、見落とされがちな詳細がある。「一時停止論」の前に、AnthropicとOpenAIは相次いで最強モデルを発表していた。一つはFable 5.1、もう一つはGPT-6 Astraだ。

多くの呼びかけがある中で、他社の新モデルは発表されるのだろうか？