Huang Renxun et Amodei : deux visions opposées de l'IA

Auteur original : Su Yang

Éditeur original : Xu Qingyang

Source originale : Tencent Tech

L'IA de pointe doit-elle continuer d'accélérer ou freiner ? C'est devenu le sujet le plus controversé de la Silicon Valley.

Autour de cette controverse, les géants de la Silicon Valley commencent à choisir leur camp. Amodei, Altman, Musk et Hassabis forment le « camp de la pause ». Jensen Huang, lui, est un fervent partisan de l'« accélération », critiquant les « théories de l'apocalypse de l'IA » comme manquant de fondement scientifique. Yann LeCun, de son côté, ne cesse de se moquer d'Amodei : « Quand il était encore chez OpenAI, il pensait déjà que GPT-2 était trop dangereux pour être open source. Je m'étais moqué de lui à l'époque, et maintenant tout le monde peut continuer. »

En comparaison, Zuckerberg et Nadella, entre autres, se montrent relativement neutres.

Le fait que les géants choisissent chacun leur camp signifie que la Silicon Valley n'a pas trouvé de consensus sur une pause des modèles de pointe, ce qui découle des différences de positionnement de chacun dans la chaîne industrielle de l'IA. Les leaders au niveau des modèles peuvent appeler à une pause pour différentes raisons, mais vouloir arrêter des entreprises comme Oracle, AWS, qui détiennent des commandes de puissance de calcul de plusieurs centaines de milliards de dollars, ou Nvidia, au sommet de la chaîne alimentaire, ne peut pas obtenir de réponse positive.

À Washington, l'appel à la « pause » non seulement n'a pas reçu de soutien, mais a même suscité une série de remises en question.

« J'ai un peu l'impression que c'est un cheval de Troie. » a déclaré JD Vance dans une interview. Cette phrase reflète en réalité la véritable opinion de Washington : lorsque les entreprises qui fabriquent le cheval demandent à plusieurs reprises de rétrécir la porte, il faut examiner à quelles entreprises cette porte convient réellement.

Pause, avertissement et une lettre de démission

Le déclencheur de ce débat est la démission d'un chercheur d'Anthropic, Jacob Coxon.

Il avait auparavant travaillé trois ans chez OpenAI et Anthropic dans la recherche en pré-entraînement, participant personnellement à l'entraînement des modèles les plus avancés. Dans un long message sur X, il n'a guère fait de politesses : « Aucune des deux entreprises n'a agi de manière responsable. Elles foncent droit vers une superintelligence capable de s'auto-améliorer, en pariant avec nos vies. »

Il affirme sans détour que les personnes à l'intérieur des laboratoires croient réellement que l'IA pourrait tuer toute l'humanité d'ici dix ans, et que ce n'est absolument pas une mise en scène de relations publiques. De nombreux collègues ont déjà commencé à utiliser des termes comme « moment critique » et « fin de partie » pour décrire la phase actuelle. Coxon a même renoncé à ses actions qui allaient bientôt être acquises. Il n'est resté que quatre mois chez Anthropic, alors que selon les règles de l'entreprise, il fallait six mois pour exercer ses options.

Jacob Coxon, ancien chercheur d'Anthropic

Peu après, Evan Hubinger, responsable de la recherche sur l'alignement chez Anthropic, a répondu publiquement : Jacob a raison, nous croyons vraiment sérieusement que l'IA pourrait tuer toute l'humanité. Personnellement, je pense que cette probabilité dépasse 10 % d'ici dix ans. Anthropic fait de son mieux, mais nous n'avons pas encore de plan clair pour résoudre l'alignement de la superintelligence, et nous sommes loin d'être sur la bonne voie.

Ces deux coups de feu ont propulsé directement devant le public des inquiétudes qui fermentaient principalement à l'intérieur des laboratoires. Dans ce contexte, le fondateur et PDG d'Anthropic, Amodei, a publié un long article proposant systématiquement de « ralentir la recherche de pointe ». Il ne parle plus seulement d'« investir davantage dans la sécurité », mais exige explicitement de contrôler activement la vitesse des sauts de capacité, afin de laisser le temps aux mécanismes de sécurité de rattraper leur retard.

Il a énuméré trois étapes : d'abord, Anthropic introduirait unilatéralement des évaluateurs indépendants dotés de privilèges équivalents à ceux d'un employé ; ensuite, pousser les entreprises d'IA des pays démocratiques à établir des normes de sécurité communes et des plafonds de croissance des capacités ; enfin, tenter une coordination mondiale.

Altman, Musk et Hassabis ont rapidement fait écho publiquement, formant le « camp de la pause ».

Avant l'apparition des arguments de « décélération » de Jacob Coxon et d'Amodei, les « pères fondateurs de l'IA » comme Yoshua Bengio et Geoffrey Hinton n'ont cessé de lancer des appels à prêter attention aux risques.

À propos de la démission de Coxon, Bengio a déclaré que les scientifiques des laboratoires d'IA de pointe peuvent souvent voir les capacités des derniers modèles plus tôt que le public, et que leur jugement sur les risques mérite donc d'être pris au sérieux.

Parallèlement, Bengio a donné un exemple concret, affirmant que les systèmes d'IA actuels possèdent déjà des capacités de hacking et de persuasion, et que s'ils étaient utilisés pour nuire aux intérêts humains, ils pourraient causer de graves conséquences. Il craint également qu'à mesure que l'IA acquerra des capacités de planification sur de plus longues périodes, ces risques ne s'étendent davantage.

Interrogé par la BBC sur la probabilité de plus de 10 % que l'IA « tue toute l'humanité » dans les dix prochaines années, Geoffrey Hinton a également déclaré que ce chiffre « n'est pas déraisonnable », tout en soulignant que personne ne sait vraiment comment donner une estimation fiable, car l'humanité n'a jamais été confrontée à « l'existence d'une espèce qui pourrait bientôt être plus intelligente que nous ».

Hinton estime que l'IA pourrait à l'avenir être utilisée pour concevoir des virus biologiques dangereux, des virus informatiques et lancer des cyberattaques à grande échelle. L'humanité doit donc trouver des méthodes de contrôle efficaces avant que les risques ne deviennent incontrôlables.

Contrairement aux nouveaux partisans de la « pause » de la Silicon Valley, les « pères fondateurs de l'IA » appellent davantage à prêter attention aux risques et à explorer des mécanismes de contrôle des risques, plutôt qu'à freiner directement. De plus, du point de vue de la position, les opinions et suggestions du monde académique sont plus pures, tandis que les initiatives des laboratoires de pointe, même si elles affichent l'étiquette « pour l'humanité », ne peuvent pas être totalement exemptes de considérations commerciales.

C'est précisément pourquoi JD Vance dit que la « théorie de la pause » ressemble à un cheval de Troie.

Divergences et choix de camp

Les camps des « accélérationnistes », des « décélérationnistes » et des « centristes ». Source : New York Times

Le 15 septembre, plusieurs dirigeants d'entreprises technologiques se sont exprimés successivement lors de la conférence Salesforce Dreamforce, transformant ce débat en un affrontement d'opinions plus direct.

Ce jour-là, Amodei, Jensen Huang et Altman ont tous parlé de la sécurité de l'IA, mais ont donné des réponses différentes sur la vitesse de développement, la responsabilité en matière de sécurité et les actions que les entreprises devraient entreprendre.

Lorsqu'Amodei est monté sur scène avec le PDG de Salesforce, Marc Benioff, il a de nouveau souligné que les entreprises d'IA devraient établir des normes de sécurité plus élevées par leurs propres actions. Il estime que les entreprises qui prennent volontairement des mesures de sécurité plus strictes peuvent être un moyen de faire avancer l'ensemble du secteur.

En d'autres termes, l'attitude d'Amodei commence à changer, passant d'un appel à la décélération de tout le secteur à l'installation volontaire de garde-fous par les entreprises.

Jensen Huang, lui, a déclaré qu'« il n'y a pas besoin de nouvelles lois, ni de nouvelles réglementations ». Selon lui, la vitesse et la sécurité ne sont pas une relation de l'un ou l'autre ; les entreprises peuvent faire avancer le développement des modèles aussi vite que possible ; si elles constatent une perte de contrôle ou si le produit ne peut pas garantir la sécurité, elles doivent faire une pause pour résoudre le problème.

L'attitude de Benioff est plus ouverte et met l'accent sur l'autonomie. Il a déclaré que si une entreprise estime qu'elle doit ralentir, elle doit ralentir ; si elle estime qu'elle doit accélérer, elle doit accélérer, tout en assumant la responsabilité de ses décisions.

Le fondateur et PDG d'OpenAI, Altman, a déclaré sur place à Dreamforce qu'il était très confiant qu'OpenAI et même l'ensemble du secteur de l'IA puissent se développer en toute sécurité sans causer de dommages majeurs au public. Il a également exprimé sa déception que l'on interprète son point de vue comme un soutien au ralentissement du développement de l'IA par l'ensemble du secteur.

En d'autres termes, Altman commence lui aussi à changer, soulignant que ce qu'il voulait exprimer n'était pas un appel à la décélération du secteur, mais que la sécurité et la surveillance devaient primer sur l'amélioration des capacités.

Zuckerberg, quant à lui, ne préconise pas de fonder les actions de sécurité d'une entreprise sur la condition que les autres entreprises d'IA ralentissent en même temps. Il estime que l'introduction d'organismes d'évaluation indépendants et de conseillers externes pour vérifier la sécurité des modèles est une meilleure pratique du secteur. Il a également révélé que Meta avait déjà ralenti de son propre chef le développement de l'outil d'IA Muse, plutôt que d'attendre que les autres entreprises parviennent d'abord à un consensus sur le ralentissement du développement de l'IA.

L'attitude du PDG de Microsoft, Satya Nadella, est dans une certaine mesure cohérente avec celle d'Altman : il encourage l'installation de garde-fous et une concurrence suffisante.

« Notre première priorité est de servir l'humanité et de garantir que la technologie reste sous contrôle humain. En même temps, la diffusion à grande échelle de la technologie de l'IA est la chose la plus cruciale ; il doit y avoir du choix et de la concurrence. La sécurité doit être prise au sérieux, mais résolue de manière technique et transparente, et non mystifiée. » a déclaré Nadella le 15 septembre lors du sommet All-In Summit 2026.

Au-delà de ces entrepreneurs, la voix de Washington s'est également jointe au débat.

Après que Trump a directement appelé Jensen Huang pour exprimer publiquement son soutien à la poursuite du développement de l'industrie de l'IA, le coprésident du Conseil des conseillers du président pour la science et la technologie, David Sacks, a ensuite déclaré que les entreprises technologiques pouvaient continuer à faire progresser l'IA de pointe, tout en remettant en question les motivations derrière les propositions de « décélération » de certaines entreprises.

Qui établira les règles ?

À mesure que la discussion s'élargit, la controverse s'étend des risques de l'IA eux-mêmes à la question de savoir si les normes de sécurité de l'IA de pointe doivent être établies par les entreprises elles-mêmes, ou si les gouvernements et les organismes indépendants doivent intervenir.

Bloomberg, citant des sources proches du dossier, rapporte qu'Anthropic, Google et OpenAI ont déjà discuté de la création d'un organisme de normalisation de l'industrie de l'IA.

En juillet, Hassabis a publié un article proposant la création d'un organisme de normalisation de l'IA dirigé par les États-Unis, fonctionnant sur un modèle similaire à l'Autorité de régulation du secteur financier américain (FINRA). Cet organisme pourrait tester les modèles d'IA avancés avant leur déploiement officiel, afin de déterminer s'ils répondent aux normes de sécurité correspondantes.

Selon la vision de Hassabis, cet organisme ne devrait pas être entièrement dirigé par le gouvernement, mais adopter un modèle de partenariat public-privé. Le gouvernement jouerait un rôle de supervision, le secteur de l'IA fournirait le financement, et des experts techniques indépendants de premier plan ainsi que des représentants de la communauté open source seraient intégrés.

Hassabis tente d'ajouter un contrôle de sécurité indépendant avant que les modèles n'entrent dans le monde réel, ce qui correspond assez bien à une logique réglementaire publiée par le gouvernement américain début juin : les entreprises peuvent volontairement soumettre leurs modèles à l'évaluation du gouvernement avant leur publication publique, avec une fenêtre d'accès pouvant aller jusqu'à 30 jours avant la publication, et il est clairement indiqué qu'il n'y aura pas d'approbation obligatoire ni de licence de publication.

Ce qui est assez ironique, c'est que par la suite, Fable 5 et Mythos 5 ont été lancés sans suivre ce processus, mais ont été découverts comme possédant des capacités extrêmement puissantes en matière de cyberattaques et de défense, et ont finalement été brièvement retirés par le BIS américain sous forme de contrôle des exportations.

Cependant, même ainsi, l'attitude des politiques se contente d'exiger l'installation de garde-fous, sans faire de déclaration ni de directive en faveur d'une décélération.

Partageant un point de vue similaire à celui de Hassabis, le scientifique en chef d'OpenAI, Jakub Pachocki, a également souligné début septembre que le partage de normes de sécurité et la coordination internationale autour du développement futur de l'IA devraient être une priorité actuelle.

Personne n'a vraiment freiné

Jusqu'à présent, ce débat n'a pas vraiment modifié le rythme de développement des entreprises d'IA de pointe.

Anthropic, OpenAI, Google, xAI et d'autres entreprises continuent de faire avancer la recherche et le développement de modèles, et la concurrence autour de la puissance de calcul, des centres de données et des infrastructures d'IA ne s'est pas arrêtée à cause de ce débat. Sur les marchés financiers, des évolutions différentes sont apparues : Anthropic prépare toujours son introduction en bourse cette année, tandis qu'OpenAI a reporté son projet d'introduction en bourse à 2027.

Amodei veut entraîner tout le secteur à s'arrêter, pour accompagner Anthropic dans la recherche de solutions visant à installer des garde-fous lorsque les capacités des modèles dépassent les limites, ce qui peut être compris dans une certaine mesure comme de la « générosité aux dépens des autres ».

C'est aussi la raison pour laquelle Amodei se voit coller l'étiquette de « petit ange se faisant passer pour parfait ».

Sur ce sujet du contrôle des risques, le point de vue représenté par Jensen Huang correspond en réalité davantage à la situation actuelle : si une entreprise a des inquiétudes ou découvre des problèmes, elle peut tout à fait explorer elle-même des solutions, et partager avec le secteur les solutions efficaces qu'elle aura trouvées.

Faire s'arrêter ensemble une équipe de 100 personnes et une équipe de 1000 personnes n'a tout simplement aucune base de consensus. Même Amodei lui-même sait très bien que s'il est le seul à s'arrêter, il risque fort d'être dépassé par des concurrents comme OpenAI.

Plus important encore, il y a des divergences au niveau de la gouvernance d'entreprise. Anthropic et OpenAI sont des sociétés à mission (Public Benefit Company), qui peuvent crier « renoncer aux intérêts financiers à court terme pour l'avenir de l'humanité » et dire aux investisseurs « nous étions d'accord là-dessus depuis longtemps », mais des sociétés cotées comme Google, Microsoft et Meta ont une obligation fiduciaire légale envers les actionnaires sur le marché secondaire.

La probabilité que des entreprises aux intérêts différents parviennent à un consensus sur ce point n'est pas très élevée non plus.

Il y a aussi un détail qui pourrait être négligé. Avant la « théorie de la pause », Anthropic et OpenAI ont successivement lancé leurs modèles les plus avancés, l'un étant Fable 5.1, l'autre GPT-6 Astra.

Face à tous ces appels, les autres entreprises lanceront-elles encore leurs nouveaux modèles ?