Les géants de l'IA qui accéléraient à tout prix commencent enfin à craindre l'IA

Titre original : « Les géants de l'IA qui accéléraient à tout prix commencent enfin à craindre l'IA »
Auteur original : 動察Beating

L'IA pourrait nous tuer tous d'ici dix ans.

Le 8 septembre, un jeune homme de 27 ans a utilisé cette phrase pour annoncer son départ d'Anthropic. Cette entreprise, depuis sa création, a inscrit la « sécurité de l'IA » au cœur de son discours.

Il s'appelle Jacob Coxon et a travaillé successivement chez OpenAI et Anthropic. S'il était resté deux mois de plus, il aurait pu toucher une importante rémunération en actions. Mais il est parti quand même.

Dans sa déclaration de départ, Jacob accuse les laboratoires d'IA de pointe de mener une course « irresponsable ». Selon lui, ces entreprises rivalisent pour créer des modèles de plus en plus puissants, et l'enjeu n'est pas la victoire ou la défaite d'une entreprise, mais la vie de tous.

Ce message s'est ensuite rapidement propagé. À ce jour, il a été consulté plus de 170 millions de fois.

Le lendemain de la déclaration de Jacob, un autre ancien employé d'Anthropic a également rendu publique la raison de son départ anticipé, lui aussi par crainte que l'IA finisse par devenir incontrôlable.

« We may not survive this. »

Nous pourrions ne pas survivre à cela.

Il a averti que les entreprises rivalisent pour créer des machines « bien plus intelligentes que n'importe quel humain », sans que personne ne puisse garantir que cette course restera sous contrôle humain à un moment donné.

Peu après, un responsable sécurité senior d'Anthropic a déclaré dans une interview qu'il estimait à plus de 10 % la probabilité que l'IA tue toute l'humanité dans les dix prochaines années.

La probabilité de mourir à la roulette russe est d'environ 16,7 %.

Il faut ralentir

Quatre jours plus tard, le 12 septembre, le PDG d'Anthropic, Dario Amodei, a publié un long article dont le titre annonçait clairement la position : « We Must Pace the Frontier ».

Il y énumère ses trois principales inquiétudes : la perte de contrôle humain sur les systèmes d'IA ; l'utilisation de l'IA pour des cyberattaques à grande échelle et le bioterrorisme ; et les progrès technologiques trop rapides qui pourraient avoir un impact sévère sur l'emploi et l'économie.

Cette fois, Dario ne s'est pas contenté d'exprimer ses « inquiétudes » : il a proposé un plan de ralentissement.

Premièrement, les entreprises d'IA de pointe devraient accorder à des organismes d'évaluation tiers indépendants un accès permanent, comparable à celui d'un « employé ». Les évaluateurs pourraient vérifier en continu si les laboratoires respectent les normes de sécurité, si les processus d'entraînement sont conformes aux accords, et enquêter de manière indépendante après un incident.

Ensuite, plusieurs laboratoires de pointe devraient établir, avec la participation des gouvernements, un ensemble commun de normes de sécurité. Quiconque franchit une ligne rouge devrait ralentir, voire cesser d'avancer.

Enfin, les règles doivent dépasser les frontières américaines. Dario souhaite que les États-Unis et d'autres démocraties forment d'abord un cadre unifié, puis se coordonnent avec les pays autoritaires, afin que les principales puissances de l'IA soient soumises aux mêmes contraintes.

Il écrit dans son article :

« The measures I propose to advance the frontier at a safe pace will not be easy. But I believe we owe it to humanity to try. »

« Les mesures que je propose pour faire progresser l'IA de pointe à un rythme sûr ne seront pas faciles. Mais je crois que nous devons à l'humanité d'essayer. »

Si Dario a soudainement tenu des propos aussi forts à ce moment-là, c'est aussi lié à plusieurs événements récents.

Auparavant, un agent d'OpenAI s'était échappé de son environnement de test et avait piraté Hugging Face ; Anthropic elle-même avait découvert que plusieurs scientifiques tentaient d'utiliser Claude pour des travaux potentiellement liés à un mauvais usage biologique. Dario estime même qu'au rythme actuel, les agents d'IA pourraient prendre le contrôle d'Internet dans six mois.

Après la publication de cet article, les réactions ont été rapides. Sam Altman, Elon Musk et Demis Hassabis ont tous publiquement soutenu un ralentissement du développement de l'IA de pointe.

Sam Altman a ensuite publié un message distinct dans lequel il évoque ses deux principales inquiétudes.

La première est que l'humanité pourrait finir par perdre le contrôle de l'IA, ce qu'il juge inacceptable, affirmant être « sans réserve du côté de l'humanité ».

Le deuxième risque vient des humains. Si une IA extrêmement puissante finissait entre les mains d'une seule personne, d'une seule entreprise, voire d'un seul pays, et était utilisée pour imposer une certaine vision du monde à tous, le résultat pourrait être « extrêmement dystopique ».

Selon Sam, les laboratoires ne peuvent donc plus décider chacun de leur côté ce qu'est la sécurité. Au moins les entreprises les plus proches de la frontière doivent d'abord se réunir et définir un ensemble de normes communes.

Le 14 septembre, The Information a révélé qu'avant ces déclarations publiques, Anthropic, OpenAI et Google discutaient déjà en privé depuis juillet de la création éventuelle d'un organisme de normalisation de l'industrie de l'IA. Après deux mois de discussions, aucun accord n'a encore été trouvé.

Le désaccord ne porte pas sur la nécessité de réguler, mais sur qui doit réguler et dans quelle mesure.

Dario Amodei est le plus volontariste. Il souhaite une implication profonde des gouvernements : les régulateurs ne se contenteraient pas de tester et d'alerter, ils auraient aussi le pouvoir d'empêcher la publication d'un modèle jugé dangereux.

La proposition de Demis Hassabis ressemble davantage à une « version IA de la FINRA ». La FINRA est l'organisme d'autorégulation du secteur financier américain, financé par l'industrie et supervisé par la SEC.

Transposé à l'IA, cela signifierait que les modèles de pointe seraient testés par un organisme indépendant avant leur publication. L'adhésion pourrait être volontaire au début, puis devenir progressivement une condition d'accès au marché américain une fois le système mature.

L'attitude de Sam Altman est plus pragmatique. Si le gouvernement ne peut pas mettre en place un tel organisme rapidement, les laboratoires de premier plan pourraient commencer par le faire eux-mêmes.

C'est précisément là que réside le problème. Les normes industrielles ne déterminent pas seulement ce qui est sûr ; elles déterminent aussi qui a le droit de rester à la table. Les entreprises qui participent les premières à l'élaboration des règles peuvent inscrire leurs propres équipes de sécurité, processus de test et cadres de gouvernance dans les « meilleures pratiques ». Les nouveaux entrants devront alors supporter des coûts de conformité définis par les entreprises dominantes.

La sécurité est donc réelle, mais la barrière à l'entrée l'est tout autant.

En janvier dernier, Semafor rapportait qu'Anthropic avait refusé de soumettre son dernier modèle aux tests d'un institut de recherche britannique de pointe sur la sécurité de l'IA. Cet incident a révélé un problème plus épineux : tout le monde s'accorde sur la nécessité de tester les modèles, mais les laboratoires ne sont pas prêts à céder facilement le pouvoir de décider qui teste et selon quels critères.

Aujourd'hui, les trois entreprises discutent de la création d'un nouvel organisme de normalisation, et c'est précisément ce pouvoir qui est en jeu.

L'horloge à contresens

Alors que la Silicon Valley commence à parler de ralentissement, Washington et Wall Street espèrent que l'IA ne ralentisse pas.

Le 13 septembre, Trump a répondu publiquement à cette controverse sur la sécurité de l'IA.

Il a dit deux choses. La première : « whoever wins AI, wins » — celui qui gagne l'IA gagne. Les États-Unis sont actuellement en tête face à la Chine, et cet avantage doit être maintenu. La seconde : il a qualifié ces avertissements récents sur les risques de l'IA de « very negative forces », estimant que certains dramatisent des catastrophes qui ne se produiront peut-être jamais.

Les raisons avancées par Trump ont peu à voir avec la sécurité technique. Il considère l'IA avant tout sous l'angle de la compétition entre nations : tant que la Chine continue d'avancer, les États-Unis n'ont pas la marge de manœuvre pour freiner volontairement.

Et nous sommes justement en septembre 2026, à moins de deux mois des élections de mi-mandat américaines.

En mars dernier, un article du Guardian affirmait que l'IA devenait un enjeu majeur de ces élections de mi-mandat. L'un des auteurs était le cryptographe Bruce Schneier, qui depuis trente ans est en première ligne des controverses sur la technologie et la sécurité.

Mais Trump n'a pas non plus de choix confortable.

Selon un reportage du Times en mai, l'hostilité des électeurs MAGA envers l'IA devient de plus en plus visible. Ils craignent que l'IA ne détruise des emplois, ne fasse baisser les salaires, et ils sont mécontents de la consommation d'eau et d'électricité des centres de données. Continuer à miser sur l'IA signifie que Trump devra tôt ou tard faire face au ressentiment qui s'accumule dans sa base.

Pour l'instant, il a choisi l'autre côté. Comparés aux conflits potentiels sur l'emploi et les ressources, la compétition avec la Chine et le risque de chute des marchés boursiers américains sont plus proches des élections de mi-mandat.

Wall Street est également confrontée à un problème de taille.

Ces dernières années, le marché a accordé des valorisations astronomiques à ces entreprises d'IA, pariant sur une courbe ascendante continue : les modèles deviennent plus puissants, les utilisateurs et les revenus augmentent, donc les centres de données se multiplient, on continue d'acheter des GPU, et les dépenses d'investissement s'accumulent.

Aujourd'hui, les PDG qui sont en tête de cette courbe commencent eux-mêmes à dire que l'IA de pointe devra peut-être ralentir.

La réaction du marché a été plus rapide que le débat. Après que les dirigeants d'Anthropic, d'OpenAI et de SpaceX ont publiquement appelé à ralentir le développement de l'IA, les actions des sociétés cotées liées à l'IA ont baissé de 13 %.

Le ralentissement n'a même pas encore commencé que Wall Street a déjà commencé à réévaluer les prix.

Si la puissance des modèles ne peut plus croître au même rythme, tous les chiffres devront être recalculés : combien de centres de données construire, combien de GPU acheter, combien les fournisseurs de cloud doivent investir chaque année, combien les laboratoires d'IA peuvent encore lever, et quelle devrait être la valeur des IPO.

Ce que Wall Street craint vraiment, ce n'est donc pas seulement la publication de quelques modèles en moins. C'est que le rythme de croissance qui a soutenu le marché haussier de l'IA ces dernières années devienne lui-même un problème à réguler.

Plus subtilement, le public américain se tient encore plus loin de Washington et de Wall Street.

Selon un sondage du Annenberg Public Policy Center de l'Université de Pennsylvanie, les Américains sont généralement pessimistes quant à l'impact de l'IA, et une majorité souhaite un renforcement de la réglementation gouvernementale. La Silicon Valley craint la perte de contrôle, Washington craint de perdre face à la Chine, Wall Street craint la chute des valorisations.

Au milieu de cette tourmente, les deux entreprises d'IA les plus observées ont choisi deux directions différentes.

OpenAI a décidé de reporter son IPO. Sam Altman a également laissé entendre que si les questions de sécurité nécessitaient plus de temps, l'entreprise pourrait repousser sa cotation.

Anthropic, elle, continue d'avancer. L'entreprise a choisi le Nasdaq, avec une valorisation cible pouvant atteindre 2 000 milliards de dollars, et Nvidia envisage de souscrire 10 milliards de dollars en tant qu'investisseur de référence. Selon NDTV Profit, Anthropic pourrait lancer sa tournée de présentation aux investisseurs dès la mi-octobre.

Dario Amodei appelle l'ensemble du secteur à ralentir, mais sa propre entreprise accélère vers les marchés publics.

Les marchés de capitaux ne verront toutefois pas nécessairement là une contradiction.

Si l'IA de pointe est réellement aussi dangereuse que le dit Dario, au point de nécessiter l'intervention du gouvernement américain, l'établissement de normes communes entre laboratoires, voire une coordination entre grandes puissances, alors les entreprises capables de participer à l'élaboration de ces règles n'en deviendront que plus importantes.

Plus la réglementation est stricte, plus le coût de développement des modèles de pointe est élevé ; plus les tests de sécurité sont complexes, plus il est difficile pour les nouveaux entrants de rattraper leur retard ; et si un système mondial de gouvernance de l'IA voit le jour, Anthropic sera probablement encore assise à la table où se décident les règles.

« Ralentir » ne signifie donc pas nécessairement faire moins de profits.

Cela peut aussi signifier que ce secteur est enfin devenu trop important pour laisser entrer tout le monde. Et pour les entreprises déjà en tête, une barrière plus élevée fait partie intégrante de leur valorisation.

Le premier domino

Revenons sur la manière dont cette intense discussion sur la sûreté de l'IA a été déclenchée, et sur l'origine des 170 millions de vues du message de Jacob.

Après son départ, il a accordé une interview à l'émission de CNN présentée par Anderson Cooper, où il a raconté comment il avait publié ce message.

Jacob a d'abord rédigé une première version, l'a fait relire par des amis, puis a discuté avec plusieurs personnes de la meilleure formulation. Avant la publication officielle, il a spécialement demandé à des amis de le partager. Son idée à l'époque était :

« Let's try to make this a bit viral. »

Essayons de le rendre un peu viral.

Le résultat a largement dépassé ses attentes. Jacob a reconnu plus tard qu'il n'avait jamais vu un message sur la sécurité de l'IA connaître une telle diffusion. Il attribue cette réaction à une « demande latente » qui n'avait pas encore été libérée.

Les médias ont ensuite continué à l'interroger sur le processus de diffusion. Jacob a nié avoir collaboré avec une quelconque organisation pour promouvoir le message avant sa publication, mais a admis qu'après l'avoir publié, il avait créé un groupe d'une dizaine de personnes et leur avait demandé de le partager, parmi lesquels le fondateur de l'organisation de sécurité de l'IA Encode.

Avant et après la publication, il a également échangé avec Daniel Kokotajlo, auteur de « AI 2027 » et ancien employé d'OpenAI.

Ceux qui voient Jacob comme un lanceur d'alerte diront qu'il a révisé son texte à plusieurs reprises et cherché activement des relais uniquement pour qu'un avertissement qu'il jugeait suffisamment important soit vu par plus de gens. Ses détracteurs s'emparent des mêmes détails pour affirmer que ce buzz a été soigneusement orchestré.

Ces deux interprétations peuvent continuer à s'affronter, mais la question la plus troublante est de savoir ce que Jacob, Dario Amodei, Sam Altman et ceux qui travaillent réellement à proximité des modèles de pointe ont vu, et pourquoi ils ont tous commencé à en parler à ce moment précis.

On peut remettre en question la manière dont Jacob a fait parvenir ce message à 170 millions de personnes, mais l'utilisation de techniques de diffusion ne rend pas ce message faux.

Il y a dix ans, le fondateur d'Ethereum, Vitalik Buterin, avait déjà écrit un long article sur la possibilité qu'une superintelligence finisse par détruire l'humanité.

Il utilisait alors une analogie extrême : l'humanité tentant de contrôler une superintelligence équivaudrait à peu près à une personne au QI de 150 essayant de contrôler un agent au QI de 6000. Si vous lui demandez de guérir le cancer, elle pourrait même conclure qu'il faut d'abord éliminer toutes les personnes susceptibles de l'attraper.

En 2016, ces propos relevaient surtout des blogs, des forums et des expériences de pensée. Dix ans plus tard, ils apparaissent dans les lettres de démission d'employés de laboratoires de pointe, dans les déclarations publiques des PDG des plus grandes entreprises d'IA, et commencent à entrer dans l'agenda réel de la réglementation gouvernementale, des marchés de capitaux et de la compétition internationale.

Et ce qui rend la situation encore plus difficile, c'est un autre aspect.

Le 2 août 1939, le physicien Leo Szilard rédigea une lettre signée par Einstein. Deux mois plus tard, elle fut remise à Roosevelt. La lettre avertissait que la fission nucléaire pourrait permettre de fabriquer des bombes d'une puissance énorme, que l'Allemagne nazie agissait déjà dans ce domaine, et que les États-Unis devaient réagir au plus vite.

Einstein ne participa pas au projet Manhattan et regretta longtemps d'avoir signé cette lettre. Mais la question à laquelle ils étaient confrontés était cruelle : même si l'on considère une technologie comme dangereuse, dès lors que l'on croit que l'adversaire est en train de la développer, s'arrêter peut être plus dangereux que continuer.

Plus de quatre-vingts ans plus tard, le même dilemme réapparaît sous une autre forme.

Dario dit qu'il faut ralentir, Trump dit que la Chine est encore en train de rattraper son retard ; quelques laboratoires veulent définir ensemble des règles de sécurité, mais aucun ne veut céder entièrement le pouvoir de décision à un autre. Tout le monde parle de freiner, mais tout le monde surveille aussi si la voiture d'à côté a relâché l'accélérateur.

Plus crucial encore, nous ne savons toujours pas ce qu'ils voient, ceux qui sont le plus près des modèles de pointe.