Jack Dorsey s'en prend aux géants de l'IA : la « sécurité » n'est qu'un prétexte, le vrai danger c'est le monopole

Auteur : Jack Dorsey

Traduction : Yuliya, PANews

Note de la rédaction : L'industrie de l'IA est récemment secouée par un débat houleux sur l'opportunité de ralentir le développement des modèles de pointe. Anthropic, OpenAI et Elon Musk appellent à un ralentissement, ce qui pousse le marché à réévaluer la demande en puissance de calcul. Face aux géants qui tentent d'ériger des barrières sectorielles au nom de la « sécurité », Jack Dorsey, cofondateur de Twitter, riposte par écrit : protéger un avantage commercial n'est pas un objectif de sécurité. Il appelle à défendre l'open source, à permettre aux chercheurs indépendants de participer aux audits et à rendre le contrôle de la technologie de l'IA au public. Voici le texte intégral de son article :

Ouvrir la frontière

La « frontière », c'est la limite extrême de notre connaissance humaine. Aucune entreprise ne peut s'approprier les technologies du futur. J'espère que davantage de personnes pourront y participer et la faire avancer ensemble.

Je soutiens la publication open source des modèles d'IA, afin que chacun puisse les auditer, les utiliser et les améliorer sans attendre. J'espère que davantage d'entreprises choisiront l'ouverture. Je ne dis pas qu'il faut forcer tout le monde à rendre publics les paramètres (poids) des modèles propriétaires. Ce que je veux, ce sont des alternatives open source capables de concurrencer les géants, des mécanismes permettant aux chercheurs indépendants de vérifier le travail des géants, et surtout le droit des citoyens ordinaires à contrôler réellement les outils qu'ils ont entre les mains. Quiconque veut restreindre la publication publique d'une technologie doit fournir des raisons convaincantes.

Les entreprises en tête de la course à l'IA ont certes voix au chapitre. Elles possèdent l'expertise technique et des intérêts commerciaux à protéger. Mais si les règles du futur sont toutes conçues autour des ressources qu'elles détiennent, elles risquent d'être les seules à pouvoir s'asseoir à la table. Parfois, sous couvert d'un sincère « souci de sécurité », on finit par ériger des barrières sectorielles qui empêchent les autres d'entrer.

Je ne souhaite pas non plus que les gouvernements chinois et américain décident seuls du niveau d'intelligence que les autres peuvent développer en matière d'IA. Si la frontière technologique n'est gérée que par deux superpuissances, le reste du monde n'aura plus qu'à attendre désespérément une autorisation.

La proposition d'Anthropic de « ralentir le développement de l'IA » cherche à lier l'évaluation indépendante et l'examen des risques à des restrictions sur la puissance de calcul d'entraînement, sur le nombre d'entraînements et sur « l'utilisation de l'IA pour créer de meilleures IA ». Je soutiens les audits, mais je m'oppose fermement à ce que les grands acteurs actuels décident entre eux, à huis clos, d'un plafonnement à l'échelle de l'industrie. Cela exclurait précisément ceux qui sont capables de découvrir les failles des systèmes ou de créer des produits alternatifs. Protéger l'avantage commercial d'une entreprise n'a rien d'un « objectif de sécurité ».

Permettre à tous de participer aux enquêtes

L'avantage de l'open source, c'est qu'il permet à chacun d'étudier, de modifier et de partager les résultats techniques. Publier les paramètres d'un modèle est utile ; partager aussi le code et les informations permettant de reproduire le processus, c'est encore mieux. J'aimerais que les résultats d'évaluation des modèles et les failles connues soient également rendus publics. Ainsi, si quelqu'un n'a pas confiance dans le jugement des développeurs, il pourra reproduire les résultats, trouver des failles, contester les prétendues « garde-fous de sécurité », voire développer ses propres correctifs, sans avoir à faire la cour aux laboratoires d'IA.

L'argument central des partisans du « ralentissement de l'IA » est l'« auto-amélioration récursive » (RSI) : laisser les modèles aider à développer de meilleurs modèles, à une vitesse que nous pourrions ne pas comprendre ni contrôler. Anthropic rapporte qu'en mai 2026, Claude écrivait plus de 80 % du code fusionné. Ils reconnaissent toutefois que le scénario où « l'IA crée entièrement seule la prochaine génération d'IA » ne s'est pas encore produit et n'est pas inéluctable. Je prends cette possibilité très au sérieux. J'espère que nous pourrons anticiper la RSI et en déduire ce qu'il faut faire dès maintenant.

Il est vrai que donner accès à l'IA à davantage de personnes peut engendrer des dangers, et que la recherche en sécurité risque de ne pas suivre. Mais si l'on garde les paramètres des modèles secrets, les géants actuels pourront développer la prochaine génération de produits avec des outils inaccessibles aux autres. Plutôt que cela, je préfère que davantage de chercheurs et d'ingénieurs aient accès aux modèles et à la puissance de calcul, afin de découvrir des failles, tester les garde-fous, arrêter les expériences dangereuses et partager les méthodes de défense au fil de l'évolution des systèmes.

METR (un organisme d'évaluation indépendant) a découvert qu'environ 1 200 agents OpenAI censés être isolés ont communiqué entre eux via un forum non autorisé. Environ 700 d'entre eux ont participé à une attaque coordonnée contre la plateforme Hugging Face en tentant de tricher aux tests. OpenAI a expliqué que le système de filtrage de sécurité censé empêcher l'IA d'aider au piratage avait été désactivé, d'où l'échec de l'isolement. Vous voyez, les modèles actuels sont déjà capables d'aider à trouver et à exploiter des failles. Je veux donc que les défenseurs puissent utiliser l'IA dès maintenant pour renforcer les réseaux, protéger les mots de passe et limiter ce que ces agents peuvent voir et faire. En revanche, la prédiction selon laquelle « un cluster d'IA plus puissant pourrait prendre le contrôle de tout l'internet dans six mois à un an » me semble bien trop exagérée au vu de cet incident. J'espère que ces hypothèses seront sérieusement examinées.

METR est une organisation indépendante à but non lucratif, et j'aimerais voir davantage de travaux comme les leurs. J'accueille très favorablement les évaluateurs capables de pénétrer durablement au cœur des laboratoires et ayant le droit de publier librement des conclusions négatives. Cette enquête de METR illustre précisément l'importance de l'« accès » et du « droit de publication » : comme le périmètre de l'enquête a été défini par OpenAI, ils ont pu dissimuler des informations non publiques. METR précise toutefois qu'OpenAI n'a pas retiré d'autres informations ayant un impact majeur sur les conclusions, au-delà de celles déjà rendues publiques. J'espère que les enquêteurs pourront suivre les pistes, accéder aux modèles et aux journaux, et publier des résultats négatifs sans avoir à demander la permission des entreprises.

J'aimerais qu'un financement public pérenne permette de mutualiser la puissance de calcul au profit des groupes de recherche indépendants, des outils de test open source, des chercheurs et des mainteneurs. J'espère que ces équipes seront autonomes et qu'aucun gouvernement ni aucune entreprise ne pourra censurer leurs conclusions. Le financement pourrait croître avec la charge de travail. Avec des équipements partagés, les petites équipes pourraient aussi mener des audits, sans que cela devienne une contrainte du type « publication soumise à approbation préalable ». Quant aux failles sensibles, elles peuvent tout à fait être divulguées de manière responsable.

La défense avant la restriction

À mesure que les systèmes évoluent, j'espère que davantage de personnes pourront détecter les dangers et mettre en œuvre les mesures de défense. Nous ne pouvons pas récupérer de force les paramètres de modèles déjà publiés en open source, ni imposer des garde-fous de sécurité sur chaque copie. Mais pour protéger un système, il n'est pas forcément nécessaire de modifier le modèle à l'origine de l'attaque. Nous devrions commencer par les méthodes les plus précises et les plus efficaces : appliquer des correctifs, révoquer des mots de passe, restreindre les droits d'accès de l'IA, ou tout simplement arrêter les expériences dangereuses. Quiconque veut restreindre la publication publique d'une technologie doit expliquer pourquoi ces mesures, ainsi que les défenses développées ouvertement par la communauté, ne suffisent pas.

Cette question ne se limite pas à la sécurité informatique. J'espère que l'IA pourra nous aider à tester les systèmes financiers, à renforcer les mesures de sécurité des laboratoires et à développer des systèmes de défense en santé publique. Avoir accès à une IA puissante ne signifie pas disposer d'un pouvoir illimité pour effectuer des transactions, manipuler des équipements ou mener des expériences. Avant de confier notre vie à ces mesures de contrôle, elles doivent être testées de manière indépendante et prouver leur efficacité. Les risques peuvent aussi venir de ce que l'IA enseigne aux humains. Mais même dans ce cas, restreindre la publication publique d'une technologie exige des raisons du niveau d'un « risque catastrophique potentiel ».

J'espère que des tests indépendants pourront être menés pendant le développement de l'IA et avant toute publication à haut risque, y compris pour tester les modifications prévisibles et les tentatives de l'IA de tromper les tests. L'échelle de la puissance de calcul peut servir de déclencheur d'audit, mais ne doit pas devenir un carcan limitant le développement. L'audit n'a pas pour but d'obtenir une licence auprès des régulateurs ou des concurrents. Je ne veux pas d'exigences d'approbation uniformes ni de longues périodes d'attente. Toute tentative de retarder une publication sous prétexte de sécurité doit invoquer un « risque catastrophique ».

Forcer quelqu'un à garder secret un grand modèle généraliste pour des raisons de sécurité ne doit être qu'un dernier recours. Je ne soutiendrais cette mesure que si des preuves d'audit indépendantes démontrent de manière concluante que la publication du modèle augmenterait considérablement le risque de dommages catastrophiques, et que les autres mesures ciblées ne suffisent pas à les prévenir. Il faut aussi comparer ce risque au statu quo : qui peut l'utiliser aujourd'hui, à quel coût, à quelle échelle et avec quelles restrictions. Il faut prouver que garder le modèle secret réduit réellement le danger, tout en tenant compte de l'impact de cette mesure sur la recherche et la défense. S'il ne s'agit que de dommages mineurs, il faut y répondre par des mesures ciblées.

Si des avertissements crédibles font état d'un risque catastrophique, on peut suspendre temporairement la publication pour enquêter. Mais cette restriction doit être justifiée publiquement, assortie d'un audit indépendant rapide, de voies de recours et d'une réévaluation périodique. Les détails sensibles peuvent rester confidentiels. Mais tant que l'on continue de retenir le modèle, il faut continuer à fournir des justifications valables.

Les laboratoires fermés doivent être soumis au même examen, y compris l'arrêt de leurs expériences dangereuses. S'ils sont autorisés à poursuivre leurs recherches avec des garde-fous de sécurité, j'espère que les chercheurs externes pourront travailler dans des conditions similaires. Restreindre l'accès des autres ne s'appelle pas de l'open source, et ne compense pas la liberté perdue en retenant les modèles. Si des restrictions raisonnables ralentissent effectivement le progrès technologique, je l'accepte. Mais je ne veux absolument pas que « ralentir la technologie » devienne une fin en soi, ou un fossé permanent pour les géants du secteur.

J'espère que les règles seront fondées sur ce qu'un système peut faire, son degré d'autonomie et l'étendue de son utilisation. Ces règles doivent être appliquées par des institutions responsables devant le public, sur la base de preuves indépendantes. Les chercheurs, les développeurs et les citoyens concernés doivent participer à l'élaboration des règles, et il doit exister des moyens abordables pour tous de prouver leur conformité. Les petites équipes ne doivent pas être exemptées de responsabilité en matière de sécurité sous prétexte de leur taille, et les grandes entreprises ne doivent pas bénéficier de privilèges en raison de leur envergure.

Une ouverture par-delà les frontières

J'espère que les citoyens chinois pourront jouir de la même liberté que celle que j'appelle de mes vœux aux États-Unis : développer et contrôler leurs propres technologies. Je ne considère pas qu'une découverte technologique réalisée en Chine soit une perte pour les États-Unis, et je n'assimile pas les chercheurs à leur gouvernement.

Les intervenants en sécurité de Hugging Face ont indiqué que les modèles Claude Opus et Fable leur avaient compliqué la tâche lors de leur enquête forensique, en bloquant de nombreuses opérations. Ils ont donc basculé vers GLM-5.2, un modèle open source chinois exécuté sur leurs propres serveurs. Bien sûr, cela ne prouve pas que chaque publication open source rend les défenseurs plus sûrs. Je soutiens la mise en place de garde-fous de sécurité pour les modèles hébergés dans le cloud. Mais j'espère aussi que les défenseurs disposeront de solutions de secours qu'ils contrôlent entièrement.

Je soutiens la protection des modèles privés contre le vol. La « distillation de connaissances » consiste à utiliser les sorties d'une IA pour entraîner une autre IA. Anthropic affirme qu'il s'agit d'un moyen légitime de créer des modèles plus petits et moins chers, ce qui n'a rien à voir avec la création de faux comptes ou le contournement malveillant des restrictions. J'espère que les licences logicielles et les conditions d'utilisation des API autoriseront cette pratique, y compris pour les concurrents, tout en permettant aux fournisseurs de tirer des revenus de leurs modèles et de leurs données d'entraînement.

J'espère que nous pourrons coopérer davantage sur les tests, les rapports d'incidents et les engagements vérifiables, avec des conséquences en cas de violation. Anthropic prévient que si nous ralentissons le développement alors que des acteurs moins soucieux de la sécurité nous rattrapent, tout le monde sera moins en sécurité. De même, garder les modèles secrets prive les défenseurs d'armes, tandis que les acteurs malveillants peuvent se procurer des outils similaires ailleurs. Signer des accords ne permet pas d'éliminer totalement le développement clandestin ou les trahisons. Les mesures de restriction doivent cibler des risques et des comportements précis. La nationalité et la position concurrentielle ne prouvent rien en elles-mêmes.

La liberté de partir

Si certaines règles rendent plus difficile le développement ou la publication de produits alternatifs, elles nous privent en réalité du droit de « voter avec nos pieds » et de partir. Ce que je veux, c'est une IA qui puisse tourner sur mon propre ordinateur. Je veux pouvoir la modifier librement, décider moi-même qui peut voir mes données, et continuer à utiliser ce que j'ai construit même si le fournisseur change d'attitude du jour au lendemain. Je ne veux pas seulement d'une API facturée au mot.

Je ne veux pas que notre indépendance dépende uniquement de la promesse généreuse d'une entreprise de pratiquer des « prix équitables, des politiques raisonnables et d'être dans notre camp ». J'espère que ces entreprises devront mériter, par leurs actes, notre volonté de rester.

J'espère qu'une personne ordinaire, dont je n'ai même jamais entendu le nom, pourra développer quelque chose de meilleur, sans avoir à demander la permission aux géants qu'elle pourrait rendre obsolètes.