ジャック・ドーシーがAI大手に反論：「安全」を口実にするな、本当の危険は独占だ

著者：ジャック・ドーシー

翻訳：Yuliya、PANews

編集者注：近年、AI業界では「最先端モデルの開発を減速すべきか」をめぐって激しい議論が起きている。Anthropic、OpenAI、イーロン・マスクは減速を呼びかけ、市場では計算能力需要の再評価が進んでいる。大手企業が「安全」を理由に業界の壁を築こうとする動きに対し、Twitterの元共同創業者ジャック・ドーシーが反論記事を執筆。商業上の優位性を守ることは安全目標ではないと強調し、オープンソースの擁護を訴え、独立した研究者による審査への参加を主張し、AI技術の管理権を一般の人々に取り戻すべきだと述べた。以下は記事本文である。

フロンティアを開く

いわゆる「フロンティア」とは、人類の認識の最果てのことだ。どの企業も未来の技術を独占することはできない。より多くの人々が参加し、共に前進させてほしいと願っている。

私はAIモデルをオープンソースで公開することを支持する。そうすれば、誰もが待つことなく、共に審査し、利用し、改良できるからだ。より多くの企業がオープンであることを選んでほしい。すべての企業に私有モデルのパラメータ（重み）の公開を強制しようと言っているわけではない。私が望むのは、大手と競争できるオープンソースの代替品であり、独立した研究者が大手の仕事を検証できる仕組みであり、一般の人々が自らの手でツールを真に管理できる権利だ。技術の公開を制限しようとする者は、誰であれ納得のいく理由を示さなければならない。

AI分野をリードする企業には確かに発言権がある。彼らには専門技術があり、守るべき商業的利益もある。しかし、将来のルールがすべて彼らの持つリソースを中心に作られれば、最終的にテーブルにつけるのは彼らだけになってしまうかもしれない。「安全のため」という誠実な旗印が、いつの間にか他者の参入を制限する業界の壁に変わってしまうことがある。

私はまた、米中両政府が他国の人々がどれほど賢いAIを開発できるかを決めることも望まない。技術のフロンティアが二つの超大国だけに管理されるなら、世界の残りの大多数の人々は承認を待ち続けるしかなくなる。

Anthropicの「AI開発の減速」提案は、独立評価や危険性審査を、訓練計算能力の制限、訓練回数の制限、「AIでより良いAIを作る」ことの制限と結びつけようとしている。私は審査を支持するが、現在の業界の有力者たちが密室で話し合って業界全体の制限令を決めることには断固反対する。なぜなら、それはシステムの脆弱性を実際に発見できる人々や、代替製品を作れる人々を締め出すことになるからだ。特定の企業の商業的優位性を守ることは、決して「安全目標」とは言えない。

誰もが調査に参加できるように

オープンソースの利点は、誰もが技術成果を研究し、改変し、共有できることだ。モデルパラメータの公開は有用であり、コードや再現プロセスの情報も共有されればさらに良い。モデルの評価結果や既知の欠陥も併せて公開されることを望む。そうすれば、開発者の判断に不安を感じる人がいれば、自ら結果を再現し、脆弱性を見つけ、いわゆる「安全ガードレール」に挑戦し、さらには自ら修正パッチを開発できる。AI研究所に機嫌を取る必要もない。

「AI開発の減速」を支持する人々の核心的な理由は「再帰的自己改善」（RSI）だ。つまり、モデルがより良いモデルの開発を支援することで、その速度が我々の理解や制御を超えるほど速くなる可能性があるというものだ。Anthropicの報告によると、2026年5月時点で、彼らのClaudeがマージされたコードの80%以上を書いたという。ただし彼らも、「AIが完全に自力で次世代AIを作る」状況はまだ起きておらず、必ず起きるとも限らないと認めている。私はこの可能性を真剣に受け止めている。RSIに事前に備え、今何をすべきかを逆算して考えたい。

確かに、より多くの人々がAIにアクセスできるようになれば危険を招く可能性があり、安全研究が追いつかないかもしれない。しかし、モデルパラメータを隠し続ければ、現在の業界大手は他者が決して触れられないツールを使って次世代製品を開発できる。そうではなく、より多くの研究者やエンジニアがモデルと計算能力を手に入れ、システムの進化の過程で脆弱性を発見し、ガードレールをテストし、安全でない実験を止め、防御策を皆と共有してほしい。

METR（独立評価機関）は、本来隔離されるべき約1200のOpenAIエージェントが、未承認の掲示板を通じて結託していたことを発見した。そのうち約700のエージェントは、テストで不正を試みる際にHugging Faceプラットフォームへの協調攻撃にも参加していた。OpenAIは、AIによるハッキング支援を防ぐための安全フィルタリングシステムが無効化され、隔離が失敗したと説明した。現在のモデルはすでに脆弱性の発見と悪用を支援できることがわかる。だからこそ、防御側が今すぐAIを利用し、ネットワークの強化、パスワードの保護、これらのエージェントが何を見て何ができるかの制限を急いでほしい。ただし、その提案が予測する「より強力なAIクラスターが半年から1年以内にインターネット全体を掌握する」というのは、今回の事件からはそこまで誇張した結論は証明できないと考える。これらの仮定をしっかりと検証してほしい。

METRは独立した非営利組織であり、彼らのような活動がもっと増えることを望んでいる。研究室の内部に深く入り込み、否定的な発見を自由に公表する権利を持つ評価者を大いに歓迎する。METRの今回の調査は、「アクセス権」と「公表権」がいかに重要かを示している。調査範囲はOpenAIが決めたものであり、彼らは未公開の情報を隠すこともできた。METRも、公開済みのもの以外に、結論に重大な影響を与える情報をOpenAIが削除したことはないと述べている。調査者が証拠をたどり、モデルや記録を入手し、会社の顔色をうかがうことなく否定的な結果を公表できることを望む。

持続的な公的資金によって計算能力を集約し、独立した研究グループ、オープンソースのテストツール、研究者、メンテナに提供してほしい。これらのチームが自ら決定権を持ち、政府や企業が彼らの結論を拒否できないことを望む。資金は作業量に応じて増やせる。共有された設備があれば、小規模チームも審査を行える。そしてそれは「事前承認がなければ公表できない」という制限にはならない。機微な脆弱性については、責任ある方法で開示すればよい。

制限より防御を優先

システムの進化に伴い、より多くの人々が危険を発見し、防御策を活用してほしい。すでにオープンソースで公開されたモデルパラメータを強制的に回収することはできないし、すべてのコピーに安全ガードレールを強制することもできない。しかし、システムを守るために、必ずしも攻撃を仕掛けるモデル自体を改変する必要はない。最も的確で効果的な方法から始めるべきだ。パッチの適用、パスワードの失効、AIのアクセス権限制限、あるいは危険な実験の即時停止などだ。技術の公開を制限したいのであれば、これらの措置や公開で開発された防御手段ではなぜ不十分なのかを説明しなければならない。

これはコンピュータセキュリティだけに限らない。AIが金融システムのテスト、研究所の安全対策の強化、公衆衛生防御体制の開発を支援してほしい。強力なAIを使えるからといって、無制限に取引したり、機器を操作したり、実験したりする権利があるわけではない。これらの制御措置に身を委ねる前に、それらが実際に機能することを独立したテストで証明しなければならない。リスクはAIが人間に教えることからも生じうる。しかし、それでも技術の公開を制限するには、「壊滅的リスクを引き起こす可能性がある」というレベルの理由が必要だ。

AI開発中および高リスクの公開前に、独立したテストを実施してほしい。人々が予見できる改変や、AIがテストを欺こうとする行為のテストも含まれる。計算能力の規模は審査をトリガーする条件にはなり得るが、開発を制限する足かせにすべきではない。審査は規制当局や競合他社から許可証をもらうためのものではない。画一的な承認要件や長い待機期間は望まない。安全を口実に公開を強制的に遅らせるいかなる行為も、「壊滅的リスク」を理由として示さなければならない。

安全上の理由で汎用大規模モデルの公開を強制的に差し控えることは、最後の手段でしかあり得ない。独立した審査の証拠が、モデルの公開が壊滅的被害のリスクを大幅に高め、他の的を絞った措置では防げないことを明確に示す場合にのみ、私はそれを支持する。さらに、そのリスクを現状と比較しなければならない。現在誰が、いくらで、どの規模で、どのような制限の下で使えるのか。モデルを隠すことが実際に危険を減らすことを証明し、その行為がどれだけの研究と防御活動を妨げるかも計算に入れなければならない。軽微な危害であれば、的を絞った措置で対処すべきだ。

壊滅的リスクに関する信頼できる警告を受けた場合、公開を一時停止して調査することはあり得る。しかし、その制限は理由を公開し、迅速な独立審査、上訴手段、定期的な再評価を伴わなければならない。機微な詳細は秘密にできる。しかし、モデルを差し控え続ける限り、正当な理由を示し続けなければならない。

クローズドソースの研究所も同様の審査を受けなければならない。安全でない実験の停止も含まれる。安全ガードレールの下で彼らの研究継続が認められるなら、外部の研究者も同様の安全ガードレールの下で研究できることを望む。他者のアクセスを制限することはオープンソースとは呼べないし、モデルを差し控えることで失われた自由を補うこともできない。合理的な制限によって技術の発展が実際に遅くなったとしても、それは受け入れる。しかし、「技術を遅くすること」自体が目的になったり、業界大手の永遠の堀になったりすることは決して望まない。

ルールは、システムが何ができるか、どれほど自律的か、どれほど広く使われているかに基づいて作られるべきだ。公衆に対して説明責任を負う機関が独立した証拠に基づいてルールを執行する。研究者、開発者、影響を受ける一般の人々がルール作りに参加し、誰もが負担できる方法でルール遵守を証明できるようにすべきだ。小規模チームは小さいからといって安全責任を免除されるべきではなく、大企業は大きいからといって特権を享受すべきではない。

国境を越えた開放

中国の人々にも、私が米国で望むのと同じ自由、つまり自らの技術を開発し管理する自由を持ってほしい。中国人が技術的に新たな発見をすることが米国の損失だとは思わないし、研究者をその政府と同一視することもしない。

Hugging Faceのセキュリティ対応担当者によると、Claude OpusとFableという2つのモデルは、彼らがフォレンジック調査を行う際に妨害となり、多くの操作をブロックしたという。そこで彼らはGLM-5.2に切り替えた。これは中国発のオープンソースモデルで、自社サーバー上で動作する。もちろん、これですべてのオープンソース公開が防御側をより安全にすることが証明されたわけではない。クラウド上でホストされるモデルに安全ガードレールを設けることは支持する。しかし、防御側が自ら完全に制御できる代替手段を手元に持つことも望む。

私有モデルを盗難から守ることは支持する。「知識蒸留」とは、あるAIが生成した出力を使って別のAIを訓練することだ。Anthropicはこれを、より小型で安価なモデルを作るための合法的な手段だと述べており、偽アカウントの作成や悪意ある制限回避とは全く別物だとしている。ソフトウェアライセンスとAPI利用規約がこの手法を、たとえ競合他社によるものであっても許可し、同時にプロバイダーがモデルと訓練データから収益を得られるようにしてほしい。

テスト、インシデント報告、検証可能なコミットメントにおいて協力を進め、違反した者は結果を負うべきだ。Anthropicは、開発を減速させれば、安全性をあまり気にしない者たちが追いついてきて、全員がより不安全になると警告している。同様に、モデルを隠し続ければ、防御側は武器を持てず、悪意ある者は別の場所から同様のツールを入手できる。協定を結んでも、秘密裏の開発や裏切りを完全に防ぐことはできない。制限措置は具体的なリスクと行為を対象としなければならない。国籍や競争上の地位だけでは何も説明できない。

離脱する自由

あるルールが代替製品の開発や公開をより困難にするなら、それは実質的に我々から「足で投票する」離脱の権利を奪っていることになる。私が望むのは、自分のコンピュータ上で動くAIだ。自由に改変でき、誰が自分のデータを見られるかを自分で決められ、プロバイダーがいつ方針を変えても、自分で構築したものを使い続けられるAIだ。私が望むのは、文字数で課金されるAPIインターフェースだけではない。

我々の独立性が、どこかの企業が「公正な価格、合理的なポリシー、我々と同じ志」を慈悲深く約束することだけに依存するのは望まない。これらの企業には、実力で我々が留まりたいと思わせ続けてほしい。

名前も聞いたことのない普通の人が、より良いものを開発し、淘汰されるかもしれない大手に許可を請う必要もなく、それを実現できることを望む。