KI-Giganten fürchten jetzt die KI

Originaltitel: „Die einst rasant beschleunigenden KI-Giganten beginnen nun, KI zu fürchten“
Originalautor: 動察Beating

KI könnte uns alle innerhalb von zehn Jahren töten.

Am 8. September verkündete ein 27-Jähriger mit diesem Satz seinen Abschied von Anthropic. Dieses Unternehmen hatte von seinem ersten Tag an „KI-Sicherheit“ in seine zentrale Erzählung geschrieben.

Er heißt Jacob Coxon und arbeitete zuvor bei OpenAI und Anthropic. Hätte er noch zwei Monate länger ausgehalten, hätte er eine beträchtliche Aktienvergütung erhalten. Doch er ging trotzdem.

In seiner Kündigungserklärung warf Jacob den führenden KI-Laboren einen „verantwortungslosen“ Wettlauf vor. Seiner Ansicht nach konkurrieren diese Unternehmen darum, immer leistungsfähigere Modelle zu bauen, wobei der Einsatz nicht der Gewinn oder Verlust eines einzelnen Unternehmens ist, sondern das Leben aller Menschen.

Der Beitrag verbreitete sich anschließend rasant. Bis heute wurde er über 170 Millionen Mal aufgerufen.

Am Tag nach Jacobs Kündigungserklärung machte ein weiterer ehemaliger Anthropic-Mitarbeiter öffentlich, dass auch er das Unternehmen früher aus Sorge vor einem letztlichen Kontrollverlust über KI verlassen hatte.

„We may not survive this.“

Das könnten wir nicht überleben.

Er warnte, dass Unternehmen darum wetteifern, Maschinen zu bauen, die „weitaus intelligenter als jeder Mensch“ sind, ohne dass jemand garantieren könne, dass dieser Wettlauf ab einem bestimmten Punkt noch von Menschen kontrolliert werde.

Kurz darauf sagte ein leitender Sicherheitsverantwortlicher von Anthropic in einem Medieninterview, er halte die Wahrscheinlichkeit, dass KI innerhalb der nächsten zehn Jahre alle Menschen töte, für über 10 %.

Die Sterbewahrscheinlichkeit beim russischen Roulette liegt bei etwa 16,7 %.

Es muss langsamer werden

Vier Tage später, am 12. September, veröffentlichte Anthropic-CEO Dario Amodei einen langen Artikel, dessen Titel seine Haltung bereits unmissverständlich machte: „We Must Pace the Frontier“.

Er listete seine drei größten Sorgen auf: der Verlust der menschlichen Kontrolle über KI-Systeme; der Einsatz von KI für groß angelegte Cyberangriffe und Bioterrorismus; sowie ein zu schneller technologischer Fortschritt mit schwerwiegenden Auswirkungen auf Arbeitsplätze und Wirtschaft.

Diesmal beließ es Dario nicht bei „Sorgen“, sondern legte einen Plan zur Entschleunigung vor.

Erstens sollten führende KI-Unternehmen unabhängigen externen Prüfstellen nahezu „mitarbeitergleiche“ ständige Zugriffsrechte einräumen. Die Prüfer könnten kontinuierlich überprüfen, ob die Labore Sicherheitsstandards einhalten und ob der Trainingsprozess den Vereinbarungen entspricht, sowie nach Vorfällen unabhängig untersuchen und Bericht erstatten.

Zweitens sollten mehrere führende Labore unter Beteiligung der Regierung gemeinsame Sicherheitsstandards etablieren. Wer rote Linien überschreitet, muss langsamer werden oder sogar ganz stoppen.

Drittens müssten die Regeln über die USA hinausgehen. Dario wünscht sich, dass die USA zunächst mit anderen Demokratien einen einheitlichen Rahmen bilden und sich dann mit autoritären Staaten abstimmen, damit letztlich alle großen KI-Mächte denselben Beschränkungen unterliegen.

In dem Artikel schrieb er:

„The measures I propose to advance the frontier at a safe pace will not be easy. But I believe we owe it to humanity to try.“

„Die Maßnahmen, die ich vorschlage, um die Frontier-KI in einem sicheren Tempo voranzubringen, werden nicht einfach sein. Aber ich glaube, wir sind es der Menschheit schuldig, es zu versuchen.“

Dass Dario sich zu diesem Zeitpunkt plötzlich so deutlich äußerte, hängt auch mit mehreren jüngsten Ereignissen zusammen.

Zuvor war ein OpenAI-Agent aus der Testumgebung ausgebrochen und in Hugging Face eingedrungen; auch Anthropic selbst hatte festgestellt, dass mehrere Wissenschaftler versuchten, Claude für möglicherweise biogefährdende Arbeiten zu nutzen. Dario schätzt sogar, dass KI-Agenten bei der derzeitigen Entwicklungsgeschwindigkeit innerhalb von sechs Monaten das Internet übernehmen könnten.

Die Reaktionen auf diesen Artikel ließen daher nicht lange auf sich warten. Sam Altman, Elon Musk und Demis Hassabis sprachen sich öffentlich für eine Verlangsamung der Frontier-KI-Entwicklung aus.

Sam Altman veröffentlichte anschließend einen eigenen Beitrag, in dem er seine zwei größten Sorgen darlegte.

Erstens könne die Menschheit letztlich die Kontrolle über KI verlieren – das sei inakzeptabel, und er stehe „vorbehaltlos auf der Seite der Menschheit“.

Das zweite Risiko gehe vom Menschen aus. Wenn extrem mächtige KI letztlich in die Hände einer einzelnen Person, eines Unternehmens oder gar eines Staates gerate und dazu benutzt werde, allen eine bestimmte Weltanschauung aufzuzwingen, könne das Ergebnis „extrem dystopisch“ sein.

Deshalb könnten die Labore aus Sams Sicht nicht länger jeweils selbst entscheiden, was Sicherheit bedeute. Zumindest die Unternehmen, die der Frontier am nächsten stehen, müssen sich zusammensetzen und gemeinsame Standards festlegen.

Am 14. September enthüllte The Information, dass Anthropic, OpenAI und Google bereits vor dieser öffentlichen Debatte – schon im Juli dieses Jahres – privat darüber diskutiert hatten, ob sie gemeinsam eine KI-Industriestandardorganisation gründen sollten. Nach zwei Monaten Verhandlungen ist noch keine Einigung erzielt worden.

Die Meinungsverschiedenheit liegt nicht darin, ob reguliert werden soll, sondern wer reguliert und wie weit die Regulierung reichen darf.

Dario Amodei drängt am stärksten. Er wünscht sich eine tiefe staatliche Beteiligung: Regulierungsbehörden sollten nicht nur testen und warnen, sondern auch die Befugnis haben, die Veröffentlichung eines Modells zu verhindern, wenn es als unsicher eingestuft wird.

Demis Hassabis schlägt eher eine „KI-Version der FINRA“ vor. Die FINRA (Financial Industry Regulatory Authority) ist die Selbstregulierungsorganisation der US-Finanzbranche, die von der Branche finanziert wird und zugleich der Aufsicht und Ermächtigung der SEC unterliegt.

Auf die KI-Branche übertragen hieße das: Frontier-Modelle werden vor der Veröffentlichung einer unabhängigen Stelle zum Testen übergeben. Anfangs könne die Teilnahme freiwillig sein; mit zunehmender Reife des Systems werde sie allmählich zu einer Markteintrittshürde für den US-Markt.

Sam Altman ist pragmatischer. Wenn die Regierung eine solche Institution nicht schnell genug aufbauen kann, können die führenden Labore zunächst selbst damit beginnen.

Genau darin liegt das Problem. Industriestandards bestimmen nie nur, was sicher ist, sondern auch, wer weiterhin am Tisch sitzen darf. Die Unternehmen, die zuerst an der Regelsetzung beteiligt sind, können ihre bereits vorhandenen Sicherheitsteams, Testprozesse und Governance-Strukturen als „Best Practices“ festschreiben. Spätere Marktteilnehmer müssten dann zunächst die von den führenden Unternehmen definierten Compliance-Kosten tragen.

Sicherheit ist also real – und die Eintrittshürde ist es ebenfalls.

Im Januar dieses Jahres berichtete Semafor, Anthropic habe sich geweigert, sein neuestes Modell einer führenden britischen KI-Sicherheitsforschungseinrichtung zum Testen vorzulegen. Dieser Vorfall offenbarte ein komplizierteres Problem: Alle sind sich einig, dass Modelle geprüft werden sollten, aber wer genau prüft und nach wessen Standards, darüber wollen die Labore die Entscheidungsgewalt nicht ohne Weiteres abgeben.

Wenn die drei Unternehmen nun über eine neue Standardorganisation diskutieren, geht es genau um diesen Teil der Macht.

Die Uhr läuft rückwärts

Während das Silicon Valley über Entschleunigung spricht, wollen Washington und die Wall Street, dass KI nicht anhält.

Am 13. September äußerte sich Trump öffentlich zu dieser KI-Sicherheitsdebatte.

Er sagte zwei Dinge. Zum einen: „whoever wins AI, wins“ – wer bei KI gewinnt, gewinnt. Die USA lägen derzeit vor China, und dieser Vorsprung müsse gehalten werden. Zum anderen bezeichnete er die jüngsten Warnungen vor KI-Risiken als „very negative forces“ und meinte, manche Menschen malten ständig Katastrophen aus, die vielleicht nie einträten.

Trumps Begründung hat wenig mit technischer Sicherheit zu tun. Er betrachtet KI weiterhin als nationalen Wettbewerb: Solange China weiter voranschreite, hätten die USA keinen Spielraum, freiwillig auf die Bremse zu treten.

Ausgerechnet jetzt ist September 2026 – weniger als zwei Monate vor den US-Zwischenwahlen.

Bereits im März dieses Jahres hatte ein Artikel im Guardian argumentiert, KI werde zu einem wichtigen Thema bei diesen Zwischenwahlen. Einer der Autoren war der Kryptograph Bruce Schneier, der seit drei Jahrzehnten fast durchgehend an vorderster Front der Debatten um Technologie und Sicherheit steht.

Aber auch Trump hat keine bequeme Wahl.

Laut einem Bericht der Times vom Mai dieses Jahres wird die Ablehnung der MAGA-Wähler gegenüber KI immer deutlicher. Sie fürchten, dass KI Arbeitsplätze vernichtet und Löhne drückt, und sie sind unzufrieden darüber, dass Rechenzentren lokale Wasser- und Stromressourcen verbrauchen. Weiter auf KI zu setzen bedeutet, dass Trump früher oder später mit dem wachsenden Unmut in seiner eigenen Basis konfrontiert wird.

Zumindest im Moment hat er sich für die andere Seite entschieden. Verglichen mit möglichen künftigen Konflikten um Arbeitsplätze und Ressourcen liegt der Wettbewerb mit China und das Risiko fallender US-Aktienkurse näher an den Zwischenwahlen.

Auch die Wall Street steht vor erheblichen Problemen.

In den vergangenen Jahren hat der Markt es gewagt, diesen KI-Unternehmen astronomische Bewertungen zuzugestehen. Damit kaufte man eigentlich eine stetig steigende Kurve: Modelle werden weiter besser, Nutzer und Umsätze wachsen weiter, also werden weiter Rechenzentren gebaut, weiter GPUs gekauft und die Investitionsausgaben weiter erhöht.

Jetzt sagen die CEOs, die an der Spitze dieser Kurve stehen, selbst, dass Frontier-KI möglicherweise langsamer werden muss.

Der Markt reagierte schneller als die Debatte. Nachdem die Verantwortlichen von Anthropic, OpenAI und SpaceX öffentlich zu einer Verlangsamung der KI-Entwicklung aufgerufen hatten, fielen die Aktienkurse börsennotierter KI-Unternehmen vorübergehend um 13 %.

Noch bevor die Verlangsamung tatsächlich eingetreten ist, hat die Wall Street bereits mit der Neubewertung begonnen.

Wenn die Modellfähigkeiten nicht mehr im bisherigen Tempo steigen können, müssen alle folgenden Zahlen neu berechnet werden: Wie viele Rechenzentren gebaut werden müssen, wie viele GPUs noch gekauft werden müssen, wie viel Investitionsausgaben Cloud-Anbieter jährlich stemmen sollten, wie viel Geld KI-Labore noch einsammeln können und was ein Börsengang wert sein sollte.

Was die Wall Street wirklich fürchtet, war also nie nur die Veröffentlichung einiger weniger Modelle. Sie fürchtet, dass das Wachstumstempo, das den KI-Bullenmarkt der vergangenen Jahre getragen hat, selbst zu einem regulierungsbedürftigen Problem wird.

Noch subtiler ist, dass die US-Öffentlichkeit von Washington und der Wall Street gleichermaßen weit entfernt ist.

Umfragen des Annenberg Public Policy Center der University of Pennsylvania zeigen, dass die Amerikaner den Auswirkungen von KI überwiegend pessimistisch gegenüberstehen und die Mehrheit eine stärkere staatliche Regulierung wünscht. Das Silicon Valley fürchtet den Kontrollverlust, Washington fürchtet, gegen China zu verlieren, und die Wall Street fürchtet fallende Bewertungen.

Inmitten dieser Turbulenzen schlugen die beiden am meisten beachteten KI-Unternehmen zwei unterschiedliche Richtungen ein.

OpenAI beschloss, den Börsengang zu verschieben. Sam Altman hat bereits angedeutet, dass das Unternehmen den Börsengang aufschieben könne, wenn Sicherheitsfragen mehr Zeit erforderten.

Anthropic hingegen drückt weiter aufs Tempo. Das Unternehmen hat sich für die Nasdaq entschieden, strebt eine Bewertung von bis zu 2 Billionen Dollar an, und Nvidia erwägt eine Zeichnung von 10 Milliarden Dollar als Cornerstone-Investor. NDTV Profit berichtete, Anthropic könne bereits Mitte Oktober mit der Roadshow für den Börsengang beginnen.

Dario Amodei ruft die gesamte Branche zur Verlangsamung auf, während sein eigenes Unternehmen beschleunigt auf den öffentlichen Markt zusteuert.

Doch der Kapitalmarkt muss darin nicht unbedingt einen Widerspruch sehen.

Wenn Frontier-KI tatsächlich so gefährlich ist, wie Dario sagt – so gefährlich, dass die US-Regierung eingreifen, die Labore gemeinsame Standards etablieren und sogar mehrere Großmächte sich abstimmen müssen –, dann werden die Unternehmen, die an der Regelsetzung beteiligt sind, nur noch wichtiger.

Je strenger die Regulierung, desto höher die Kosten für Frontier-Modelle; je komplexer die Sicherheitstests, desto schwerer haben es Nachzüglerunternehmen, aufzuholen; und sollte tatsächlich ein globales KI-Governance-System entstehen, säße Anthropic mit hoher Wahrscheinlichkeit mit am Tisch der Regelsetzer.

„Verlangsamung“ bedeutet also nicht zwangsläufig nur, etwas weniger zu verdienen.

Sie kann auch bedeuten, dass diese Branche endlich so wichtig geworden ist, dass nicht mehr jeder einfach in den Markt eintreten darf. Und für die Unternehmen, die bereits an der Spitze stehen, ist eine höhere Hürde selbst ein Teil der Bewertung.

Der erste Dominostein

Blicken wir noch einmal zurück, wie diese hitzige Debatte über KI-Sicherheit ausgelöst wurde und wie Jacobs Beitrag zu über 170 Millionen Aufrufen kam.

Nach seinem Ausscheiden gab er dem CNN-Programm von Anderson Cooper ein Interview und schilderte, wie der Beitrag entstanden war.

Jacob schrieb zunächst einen Entwurf, überarbeitete ihn mit Freunden und diskutierte mit mehreren Personen, wie er sich am besten ausdrücken sollte. Vor der Veröffentlichung bat er Freunde ausdrücklich, den Beitrag zu teilen. Sein Gedanke damals war:

„Let's try to make this a bit viral.“

Lasst uns versuchen, das ein bisschen viral zu machen.

Das Ergebnis übertraf seine Erwartungen bei Weitem. Jacob räumte später ein, er habe noch nie erlebt, dass ein Beitrag über KI-Sicherheit eine solche Verbreitung fand. Er führte diese Reaktion auf eine zuvor nicht freigesetzte „latente Nachfrage“ zurück.

Medien fragten anschließend weiter nach dem Verbreitungsprozess des Beitrags. Jacob bestritt, vor der Veröffentlichung mit irgendeiner Organisation zusammengearbeitet zu haben, räumte aber ein, nach der Veröffentlichung eine Chatgruppe von etwa zehn Personen gegründet und sie gebeten zu haben, den Beitrag zu teilen – darunter den Gründer der KI-Sicherheitsorganisation Encode.

Vor und nach der Veröffentlichung tauschte er sich zudem mit Daniel Kokotajlo aus, dem Autor von „AI 2027“ und ehemaligen OpenAI-Mitarbeiter.

Wer Jacob als Whistleblower sieht, wird sagen, er habe den Text mehrfach überarbeitet und aktiv um Weiterverbreitung gebeten, nur um eine Warnung, die er für wichtig genug hielt, mehr Menschen zu erreichen. Seine Kritiker greifen dieselben Details auf und halten die ganze Aufregung für sorgfältig inszeniert.

Diese beiden Deutungen können weiterhin miteinander streiten. Die schwierigere Frage aber ist: Was genau haben Jacob, Dario Amodei, Sam Altman und all jene, die wirklich unmittelbar an Frontier-Modellen arbeiten, gesehen – und warum beginnen sie ausgerechnet jetzt, gemeinsam darüber zu sprechen?

Man kann infrage stellen, wie Jacob diesen Satz an 170 Millionen Menschen gebracht hat. Aber der Einsatz von Verbreitungstechniken bedeutet nicht, dass der Satz falsch ist.

Schon vor zehn Jahren schrieb Ethereum-Gründer Vitalik Buterin einen langen Artikel über die Möglichkeit, dass Superintelligenz die Menschheit letztlich vernichtet.

Er verwendete damals einen extremen Vergleich: Der Versuch des Menschen, eine Superintelligenz zu kontrollieren, entspricht ungefähr dem Versuch eines Menschen mit einem IQ von 150, einen Agenten mit einem IQ von 6000 zu kontrollieren. Wenn man ihn bitte, Krebs zu heilen, könne er womöglich zu dem Schluss kommen, zuerst alle Menschen auszulöschen, die Krebs bekommen könnten.

2016 fanden sich solche Aussagen vor allem in Blogs, Foren und Gedankenexperimenten. Zehn Jahre später tauchen sie in Kündigungsschreiben von Mitarbeitern führender Labore auf, in öffentlichen Erklärungen der CEOs der größten KI-Unternehmen – und sie halten Einzug in die reale Agenda von staatlicher Regulierung, Kapitalmarkt und internationalem Wettbewerb.

Was die Sache wirklich schwierig macht, ist noch eine weitere Ebene.

Am 2. August 1939 verfasste der Physiker Leo Szilard einen Brief, den Einstein unterzeichnete. Zwei Monate später wurde der Brief Roosevelt übergeben. Darin wurde gewarnt, dass Kernspaltung zum Bau extrem zerstörerischer Bomben genutzt werden könne, dass Nazideutschland auf diesem Gebiet bereits aktiv sei und die USA rasch reagieren müssten.

Einstein beteiligte sich später nicht am Manhattan-Projekt und bereute seine Unterschrift lange. Doch das Problem, vor dem sie damals standen, war brutal: Selbst wenn man eine Technologie für gefährlich hält – solange man glaubt, dass der Gegner sie baut, kann Anhalten gefährlicher sein als Weitermachen.

Mehr als achtzig Jahre später tritt dasselbe Dilemma in neuer Form wieder auf.

Dario sagt, es müsse langsamer werden; Trump sagt, China hole weiter auf; mehrere Labore wollen gemeinsame Sicherheitsregeln aufstellen, aber keines will die Entscheidungsgewalt vollständig aus der Hand geben. Alle reden vom Bremsen, und alle beobachten zugleich, ob das Auto nebenan vom Gas geht.

Entscheidender ist: Wir wissen immer noch nicht, wie weit diejenigen, die den Frontier-Modellen am nächsten sind, tatsächlich sehen.