Huang Renxun und Amodei: Zwei gegensätzliche Positionen

Originalautor: Su Yang

Originalredakteur: Xu Qingyang

Originalquelle: Tencent Technology

Ob die KI an vorderster Front weiter beschleunigt oder gebremst wird, ist derzeit das umstrittenste Thema im Silicon Valley.

Im Zuge der Kontroverse beginnen die Giganten des Silicon Valley, Partei zu ergreifen. Dario Amodei, Sam Altman, Elon Musk und Demis Hassabis bilden die „Pause-Fraktion“. Jensen Huang ist ein entschiedener „Beschleuniger“, der die „KI-Weltuntergangstheorie“ als wissenschaftlich unbegründet kritisiert. Yann LeCun verspottet Amodei weiterhin und sagt: „(Amodei) hielt GPT-2 schon damals bei OpenAI für so gefährlich, dass es nicht als Open Source veröffentlicht werden sollte. Ich habe ihn damals schon verspottet, und jetzt können alle weitermachen.“

Im Vergleich dazu verhalten sich Mark Zuckerberg und Satya Nadella relativ neutral.

Dass die Giganten jeweils Partei ergreifen, bedeutet, dass es im Silicon Valley keinen Konsens über eine Pause bei den Spitzenmodellen gibt. Dies liegt an den unterschiedlichen Positionen der Unternehmen in der KI-Wertschöpfungskette. Führende Unternehmen auf Modellebene können aus unterschiedlichen Gründen eine Pause fordern, aber Unternehmen wie Oracle und AWS, die Rechenaufträge im Wert von Hunderten Milliarden Dollar halten, sowie Nvidia an der Spitze der Nahrungskette zum Anhalten zu bewegen, wird keine positive Resonanz finden.

In Washington findet der Ruf nach einer „Pause“ nicht nur keine Unterstützung, sondern löst sogar eine Reihe von Fragen aus.

„Das fühlt sich für mich ein bisschen wie ein Trojanisches Pferd an“, sagte JD Vance in einem Interview. Dieser Satz spiegelt tatsächlich die wahre Haltung Washingtons wider: Wenn Unternehmen, die das Pferd bauen, wiederholt fordern, das Tor enger zu machen, sollte man prüfen, für welche Unternehmen dieses Tor überhaupt geeignet ist.

Pause, Warnung und ein Kündigungsschreiben

Auslöser dieser Debatte war die Kündigung eines Anthropic-Forschers, Jacob Coxon.

Er hatte zuvor drei Jahre lang bei OpenAI und Anthropic an Pretraining-Forschung gearbeitet und war persönlich am Training der modernsten Modelle beteiligt. In seinem langen Beitrag auf X nahm er kaum ein Blatt vor den Mund: „Beide Unternehmen haben nicht verantwortungsvoll gehandelt. Sie steuern direkt auf eine sich selbst verbessernde Superintelligenz zu und setzen unser Leben aufs Spiel.“

Er sagte unverblümt, dass die Leute in den Labors wirklich glauben, dass KI innerhalb von zehn Jahren die gesamte Menschheit auslöschen könnte, und das sei keineswegs PR-Theater. Viele Kollegen verwenden bereits Begriffe wie „kritischer Moment“ und „Endspiel“, um die aktuelle Phase zu beschreiben. Coxon verzichtete sogar auf seine kurz vor der Zuteilung stehenden Aktienoptionen. Er war nur vier Monate bei Anthropic, und laut Unternehmensregeln wäre eine Ausübung erst nach sechs Monaten möglich gewesen.

Jacob Coxon, ehemaliger Forscher bei Anthropic

Kurz darauf antwortete Evan Hubinger, der bei Anthropic für Alignment Science zuständig ist, öffentlich: Jacob hat recht, wir glauben wirklich ernsthaft, dass KI die gesamte Menschheit auslöschen könnte. Ich persönlich halte die Wahrscheinlichkeit dafür innerhalb von zehn Jahren für über 10 %. Anthropic gibt sein Bestes, aber wir haben noch keinen klaren Plan zur Lösung des Superintelligenz-Alignments und sind weit davon entfernt, auf Kurs zu sein.

Diese beiden Schüsse brachten die Sorgen, die sich zuvor hauptsächlich innerhalb der Labors entwickelt hatten, direkt an die Öffentlichkeit. Vor diesem Hintergrund veröffentlichte Amodei, Gründer und CEO von Anthropic, umgehend einen langen Artikel, in dem er systematisch die Forderung nach einer „Verlangsamung der Spitzenforschung“ erhob. Er spricht nicht mehr nur von „mehr Investitionen in Sicherheit“, sondern fordert ausdrücklich, das Tempo der Fähigkeitssprünge aktiv zu kontrollieren, um den Sicherheitsmechanismen Zeit zum Aufholen zu geben.

Er skizziert einen Drei-Schritte-Plan: Zunächst führt Anthropic einseitig unabhängige Gutachter mit Mitarbeiterrechten ein; dann werden demokratische KI-Unternehmen dazu gedrängt, gemeinsame Sicherheitsstandards und Obergrenzen für das Fähigkeitswachstum festzulegen; schließlich wird eine globale Koordination angestrebt.

Altman, Musk und Hassabis schlossen sich schnell öffentlich an und bildeten die „Pause-Fraktion“.

Bevor Jacob Coxon und Amodei ihre „Verlangsamungs“-Thesen vorbrachten, hatten „KI-Paten“ wie Yoshua Bengio und Geoffrey Hinton bereits Initiativen zur Risikobeachtung gestartet.

Zu Coxons Kündigung sagte Bengio, dass Wissenschaftler in führenden KI-Labors die Fähigkeiten der neuesten Modelle oft früher sehen können als die Öffentlichkeit, weshalb ihre Risikoeinschätzungen ernst genommen werden sollten.

Gleichzeitig nannte Bengio konkrete Beispiele: Aktuelle KI-Systeme verfügen bereits über Hacking- und Überzeugungsfähigkeiten, die bei missbräuchlicher Nutzung zum Schaden der Menschheit schwerwiegende Folgen haben könnten. Er befürchtet zudem, dass sich diese Risiken mit zunehmender Planungsfähigkeit der KI über längere Zeiträume weiter vergrößern könnten.

Auf die Frage der BBC, ob die Wahrscheinlichkeit, dass KI innerhalb der nächsten zehn Jahre „die gesamte Menschheit auslöscht“, über 10 % liege, sagte Geoffrey Hinton, diese Zahl sei „nicht unvernünftig“, betonte aber gleichzeitig, dass niemand wirklich wisse, wie man eine verlässliche Schätzung abgeben könne, da die Menschheit noch nie mit der „Existenz einer Spezies konfrontiert war, die bald intelligenter sein könnte als wir“.

Hinton glaubt, dass KI in Zukunft zur Entwicklung gefährlicher biologischer Viren, Computerviren und für groß angelegte Cyberangriffe eingesetzt werden könnte. Daher müsse die Menschheit wirksame Kontrollmethoden finden, bevor die Risiken außer Kontrolle geraten.

Anders als die neuen Befürworter der „Pause-Theorie“ im Silicon Valley rufen die „KI-Paten“ eher dazu auf, Risiken zu beachten und Mechanismen zur Risikokontrolle zu erforschen, anstatt direkt auf die Bremse zu treten. Zudem sind die Meinungen und Vorschläge aus der akademischen Welt in ihrer Positionierung reiner, während die Initiativen der führenden Labors, selbst wenn sie offiziell das Etikett „für die Menschheit“ tragen, kaum zu 100 % frei von kommerziellen Erwägungen sind.

Genau deshalb sagt JD Vance, die „Pause-Theorie“ sei wie ein Trojanisches Pferd.

Meinungsverschiedenheiten und Parteinahme

Die Lager der „Beschleuniger“, „Verlangsamer“ und „Gemäßigten“. Quelle: New York Times

Am 15. September äußerten sich mehrere Technologiekonzernlenker auf der Salesforce Dreamforce-Konferenz nacheinander, wodurch die Debatte zu einer direkteren Konfrontation der Standpunkte wurde.

An diesem Tag sprachen Amodei, Jensen Huang und Altman über KI-Sicherheit, gaben jedoch unterschiedliche Antworten auf Fragen des Entwicklungstempos, der Sicherheitsverantwortung und der Maßnahmen, die Unternehmen ergreifen sollten.

Als Amodei gemeinsam mit Salesforce-CEO Marc Benioff auf der Bühne stand, betonte er erneut, dass KI-Unternehmen durch ihr eigenes Handeln höhere Sicherheitsstandards setzen sollten. Er ist der Ansicht, dass Unternehmen, die proaktiv strengere Sicherheitsmaßnahmen ergreifen, die gesamte Branche voranbringen können.

Mit anderen Worten: Amodeis Haltung beginnt sich zu wandeln – von der Forderung nach einer branchenweiten Verlangsamung hin zu unternehmenseigenen Sicherheitsleitplanken.

Jensen Huang sagte: „Wir brauchen keine neuen Gesetze und keine neue Regulierung.“ Für ihn sind Geschwindigkeit und Sicherheit kein Entweder-oder; Unternehmen können die Modellentwicklung so schnell wie möglich vorantreiben. Wenn sie feststellen, dass sie die Kontrolle verlieren oder die Produktsicherheit nicht gewährleistet werden kann, sollten sie anhalten und das Problem lösen.

Benioffs Haltung ist offener und betont die Eigenverantwortung. Er sagte, wenn ein Unternehmen meine, es solle langsamer werden, solle es langsamer werden; wenn es meine, es solle schneller werden, solle es schneller werden – und zugleich die Verantwortung für seine Entscheidungen tragen.

OpenAI-Gründer und CEO Altman sagte auf der Dreamforce, er sei sehr zuversichtlich, dass OpenAI und die gesamte KI-Branche sich sicher entwickeln könnten, ohne der Öffentlichkeit erheblichen Schaden zuzufügen. Zugleich äußerte er sich enttäuscht darüber, dass seine Ansichten von außen als Unterstützung für eine branchenweite Verlangsamung der KI-Entwicklung verstanden würden.

Mit anderen Worten: Auch Altman beginnt sich zu wandeln und betont, dass er nicht zu einer Verlangsamung der Branche aufrufen wollte, sondern dass Sicherheit und Überwachung vor dem Fähigkeitsausbau stehen sollten.

Zuckerberg plädiert nicht dafür, die Sicherheitsmaßnahmen eines Unternehmens von der Voraussetzung abhängig zu machen, dass andere KI-Unternehmen ebenfalls langsamer werden. Er hält die Einbeziehung unabhängiger Bewertungsstellen und externer Berater zur Prüfung der Modellsicherheit für eine Best Practice der Branche. Er verriet zudem, dass Meta die Entwicklung des KI-Tools Muse bereits eigenständig verlangsamt habe, statt darauf zu warten, dass andere Unternehmen zuerst einen Konsens über eine Verlangsamung der KI-Entwicklung erzielen.

Die Haltung von Microsoft-CEO Satya Nadella stimmt in gewisser Weise mit der von Altman überein: Er befürwortet Sicherheitsleitplanken und zugleich ausreichenden Wettbewerb.

„Das Wichtigste ist, der Menschheit zu dienen und sicherzustellen, dass die Technologie unter menschlicher Kontrolle bleibt. Gleichzeitig ist die breite Verbreitung der KI-Technologie entscheidend – es muss Auswahl und Wettbewerb geben. Sicherheit muss ernst genommen werden, aber sie sollte auf technische und transparente Weise gelöst werden, nicht mystifiziert werden“, sagte Nadella am 15. September auf dem All-In Summit 2026.

Neben diesen Unternehmern meldete sich auch Washington weiter zu Wort.

Nachdem Trump Jensen Huang direkt angerufen und öffentlich seine Unterstützung für die weitere Entwicklung der KI-Branche bekundet hatte, erklärte David Sacks, Co-Vorsitzender des President's Council of Advisors on Science and Technology, anschließend, Technologieunternehmen könnten die Spitzen-KI weiter vorantreiben, und stellte zugleich die Motive einiger Unternehmen infrage, die eine „Verlangsamung“ fordern.

Wer macht die Regeln?

Mit der Ausweitung der Diskussion geht die Kontroverse über die KI-Risiken selbst hinaus und erstreckt sich nun auf die Frage, ob Sicherheitsstandards für Spitzen-KI von den Unternehmen selbst festgelegt werden sollten oder ob Regierungen und unabhängige Institutionen eingreifen müssen.

Bloomberg berichtet unter Berufung auf informierte Personen, dass Anthropic, Google und OpenAI bereits über die Gründung einer Branchenorganisation für KI-Standards diskutiert haben.

Im Juli veröffentlichte Hassabis einen Artikel, in dem er die Gründung einer von den USA geführten KI-Standardorganisation vorschlug, deren Funktionsweise der US-amerikanischen Financial Industry Regulatory Authority (FINRA) ähneln soll. Diese Organisation könnte fortschrittliche KI-Modelle vor ihrer offiziellen Bereitstellung testen und beurteilen, ob sie die entsprechenden Sicherheitsstandards erfüllen.

Nach Hassabis' Vorstellung sollte diese Organisation nicht vollständig von der Regierung geführt werden, sondern als öffentlich-private Partnerschaft arbeiten. Die Regierung übernimmt dabei eine Aufsichtsfunktion, die KI-Branche stellt die Finanzierung bereit, und unabhängige Spitzentechnologen sowie Vertreter der Open-Source-Community werden einbezogen.

Hassabis versucht, vor dem Eintritt der Modelle in die reale Welt eine unabhängige Sicherheitsprüfung einzuführen. Dies passt zu einer Reihe von Regulierungslogiken, die die US-Regierung Anfang Juni veröffentlicht hat: Unternehmen können ihre Modelle vor der öffentlichen Veröffentlichung freiwillig der Regierung zur Bewertung vorlegen, wobei ein Zugriffszeitraum von bis zu 30 Tagen vor der Veröffentlichung gewährt werden kann und ausdrücklich keine Zwangsgenehmigung und keine Veröffentlichungslizenz vorgesehen sind.

Dramatisch war der spätere Start von Fable 5 und Mythos 5, die dieses Verfahren nicht befolgten, aber als äußerst fähig im Bereich Cyberangriff und -verteidigung entdeckt wurden und schließlich vom US-amerikanischen BIS im Rahmen der Exportkontrolle vorübergehend vom Netz genommen wurden.

Doch selbst dann verlangt die Politik lediglich den Einbau von Sicherheitsleitplanken, ohne eine Verlangsamung zu fordern oder anzuleiten.

Eine ähnliche Ansicht wie Hassabis vertritt Jakub Pachocki, Chefwissenschaftler von OpenAI. Er betonte Anfang September ebenfalls, dass gemeinsame Sicherheitsstandards und internationale Koordination für die weitere KI-Entwicklung jetzt Priorität haben sollten.

Niemand tritt wirklich auf die Bremse

Bislang hat diese Debatte das Entwicklungstempo der führenden KI-Unternehmen nicht wirklich verändert.

Anthropic, OpenAI, Google, xAI und andere Unternehmen treiben die Modellforschung und -entwicklung weiter voran, und der Wettbewerb um Rechenleistung, Rechenzentren und KI-Infrastruktur ist durch diese Debatte nicht zum Stillstand gekommen. Auf der Kapitalmarktseite gibt es unterschiedliche Entwicklungen: Anthropic bereitet weiterhin seinen Börsengang in diesem Jahr vor, während OpenAI seinen Börsengang auf 2027 verschoben hat.

Amodei will die gesamte Branche zum Anhalten bewegen, um gemeinsam mit Anthropic Lösungen für Sicherheitsleitplanken bei Modellfähigkeitsüberschreitungen zu finden. Das kann man in gewissem Maße als „Großzügigkeit auf Kosten anderer“ verstehen.

Deshalb wird Amodei auch das Etikett „unschuldsvoller kleiner Engel“ angeheftet.

Was das Thema Risikokontrolle betrifft, entspricht die von Jensen Huang vertretene Ansicht eher der Realität: Wenn Unternehmen Bedenken haben oder Probleme entdecken, können sie durchaus selbst Lösungen erforschen und wirksame Lösungen mit der Branche teilen.

Ein 100-köpfiges Team und ein 1000-köpfiges Team gemeinsam zum Anhalten zu bewegen, entbehrt jeglicher Konsensgrundlage. Selbst Amodei ist sich darüber im Klaren, dass er, wenn nur er anhält, sehr wahrscheinlich von Konkurrenten wie OpenAI überholt wird.

Noch wichtiger sind die Unterschiede in der Unternehmensführung. Anthropic und OpenAI sind Public Benefit Companies und können verkünden, „zugunsten der Zukunft der Menschheit auf kurzfristige finanzielle Interessen zu verzichten“, und den Investoren sagen: „Darüber waren wir uns schon früh einig.“ Doch börsennotierte Unternehmen wie Google, Microsoft und Meta haben gegenüber ihren Aktionären am Sekundärmarkt gesetzliche Treuepflichten.

Unternehmen mit so unterschiedlichen Interessen werden in diesem Punkt kaum einen Konsens erzielen.

Es gibt noch ein möglicherweise übersehenes Detail. Vor der „Pause-Theorie“ haben sowohl Anthropic als auch OpenAI nacheinander ihre stärksten Modelle veröffentlicht – das eine ist Fable 5.1, das andere GPT-6 Astra.

Werden die anderen Unternehmen angesichts all dieser Appelle ihre neuen Modelle noch veröffentlichen?