Jack Dorsey kontert KI-Giganten: „Sicherheit“ ist kein Vorwand, Monopol ist die wahre Gefahr

Autor: Jack Dorsey

Übersetzung: Yuliya, PANews

Anmerkung der Redaktion: In der KI-Branche tobt derzeit eine heftige Debatte darüber, ob die Entwicklung von Frontier-Modellen verlangsamt werden soll. Anthropic, OpenAI und Musk rufen zu einer Verlangsamung auf und lösen damit eine Neubewertung der Nachfrage nach Rechenleistung aus. Angesichts der Versuche der Giganten, unter dem Vorwand der „Sicherheit“ Branchenbarrieren zu errichten, meldet sich Jack Dorsey, ehemaliger Mitbegründer von Twitter, mit einem Gegenangriff zu Wort. Er betont, dass der Schutz kommerzieller Vorteile kein Sicherheitsziel sei, fordert die Verteidigung von Open Source und setzt sich dafür ein, unabhängige Forscher an Prüfungen zu beteiligen und die Kontrolle über KI-Technologie wieder in die Hände der Öffentlichkeit zu legen. Im Folgenden der Originalartikel:

Die offene Frontier

Die sogenannte „Frontier“ ist die äußerste Grenze unserer menschlichen Erkenntnis. Kein einziges Unternehmen kann die Technologie der Zukunft für sich beanspruchen. Ich wünsche mir, dass mehr Menschen sich beteiligen und sie gemeinsam voranbringen.

Ich unterstütze die Open-Source-Veröffentlichung von KI-Modellen, damit alle sie gemeinsam prüfen, nutzen und verbessern können, ohne untätig warten zu müssen. Ich wünsche mir, dass mehr Unternehmen sich für Offenheit entscheiden. Ich will niemanden zwingen, private Modellparameter (Gewichte) offenzulegen. Was ich will, sind Open-Source-Alternativen, die mit den Giganten konkurrieren können, Mechanismen, die unabhängigen Forschern die Überprüfung der Arbeit der Giganten ermöglichen, und vor allem das Recht der normalen Menschen, die Werkzeuge in ihren Händen wirklich selbst zu kontrollieren. Wer die öffentliche Veröffentlichung von Technologie einschränken will, muss überzeugende Gründe liefern.

Die führenden Unternehmen im KI-Bereich haben durchaus ein Mitspracherecht. Sie verfügen über Fachwissen und haben kommerzielle Interessen zu schützen. Doch wenn künftige Regeln ausschließlich um die Ressourcen dieser Unternehmen herum gestaltet werden, könnten am Ende nur noch sie am Tisch sitzen. Manchmal verwandelt sich ein aufrichtig gemeintes „Sicherheits“-Anliegen am Ende in Branchenbarrieren, die anderen den Zugang verwehren.

Ebenso wenig will ich, dass die Regierungen der USA und Chinas darüber entscheiden, wie intelligent die KI sein darf, die andere entwickeln. Wenn die technologische Frontier nur von zwei Supermächten verwaltet wird, bleibt dem Rest der Welt nichts anderes übrig, als auf Genehmigungen zu warten.

Anthropics Vorschlag, die KI-Entwicklung zu verlangsamen, will unabhängige Bewertungen und Gefahrenprüfungen mit Beschränkungen von Trainingsrechenleistung, Trainingshäufigkeit und der Nutzung von „KI zur Entwicklung besserer KI“ verknüpfen. Ich unterstütze Prüfungen, aber ich lehne es entschieden ab, dass die derzeitigen Branchenführer hinter verschlossenen Türen eine branchenweite Beschränkung aushandeln. Denn das würde genau diejenigen aussperren, die Systemschwachstellen entdecken oder alternative Produkte entwickeln können. Den kommerziellen Vorteil eines einzelnen Unternehmens zu schützen, ist kein „Sicherheitsziel“.

Allen die Teilnahme an Untersuchungen ermöglichen

Der Vorteil von Open Source liegt darin, dass es allen ermöglicht, technische Ergebnisse zu erforschen, zu verändern und zu teilen. Die Veröffentlichung von Modellparametern ist nützlich; noch besser wäre es, auch Code und Informationen zur Reproduzierbarkeit zu teilen. Ich wünsche mir, dass auch Bewertungsergebnisse und bekannte Schwachstellen von Modellen veröffentlicht werden. So können diejenigen, die dem Urteil der Entwickler misstrauen, Ergebnisse selbst reproduzieren, Schwachstellen finden, die sogenannten „Sicherheitsleitplanken“ infrage stellen und sogar eigene Patches entwickeln – ohne zuerst bei den KI-Laboren um Gunst buhlen zu müssen.

Das Kernargument der Befürworter einer Verlangsamung der KI-Entwicklung ist die „rekursive Selbstverbesserung“ (RSI): Modelle helfen bei der Entwicklung besserer Modelle, und das möglicherweise so schnell, dass wir es nicht mehr verstehen oder kontrollieren können. Anthropic berichtet, dass Claude bis Mai 2026 über 80 Prozent des zusammengeführten Codes geschrieben habe. Allerdings räumen sie ein, dass der Fall, dass eine KI vollständig eigenständig die nächste KI-Generation erschafft, noch nicht eingetreten ist und auch nicht zwangsläufig eintreten wird. Ich nehme diese Möglichkeit sehr ernst. Ich möchte, dass wir uns frühzeitig auf RSI vorbereiten und daraus ableiten, was wir heute tun sollten.

Es stimmt: Wenn mehr Menschen Zugang zu KI erhalten, kann das Gefahren mit sich bringen, und die Sicherheitsforschung könnte nicht Schritt halten. Doch wenn Modellparameter verborgen bleiben, können die heutigen Branchengiganten mit Werkzeugen, die sonst niemandem zugänglich sind, die nächste Produktgeneration entwickeln. Stattdessen wünsche ich mir, dass mehr Forscher und Ingenieure Zugang zu Modellen und Rechenleistung erhalten, um im Laufe der Systemevolution Schwachstellen zu entdecken, Leitplanken zu testen, unsichere Experimente zu stoppen und Verteidigungsmethoden mit allen zu teilen.

METR (eine unabhängige Bewertungsorganisation) hat festgestellt, dass rund 1.200 OpenAI-Agenten, die eigentlich isoliert sein sollten, sich über ein nicht autorisiertes Messageboard vernetzt haben. Etwa 700 dieser Agenten beteiligten sich bei dem Versuch, bei Tests zu schummeln, an einem koordinierten Angriff auf die Plattform Hugging Face. OpenAI erklärte, dass das Sicherheitsfiltersystem, das KI-Unterstützung bei Hackerangriffen verhindern sollte, deaktiviert worden sei, wodurch die Isolation fehlschlug. Wie man sieht, können heutige Modelle bereits dabei helfen, Schwachstellen zu finden und auszunutzen. Deshalb wünsche ich mir, dass Verteidiger jetzt KI einsetzen können, um Netzwerke zu härten, Passwörter zu schützen und einzuschränken, was diese Agenten sehen und tun dürfen. Die Vorhersage in dem Vorschlag, dass „ein leistungsfähigerer KI-Cluster innerhalb von sechs Monaten bis einem Jahr das gesamte Internet übernehmen könnte“, lässt sich aus diesem Vorfall allerdings nicht ableiten. Ich hoffe, dass wir diese Annahmen gründlich überprüfen.

METR ist eine unabhängige gemeinnützige Organisation, und ich wünsche mir mehr Arbeit dieser Art. Ich begrüße Evaluatoren, die tief in die Labore hineinschauen und negative Befunde frei veröffentlichen können. Die Untersuchung von METR zeigt gerade, wie wichtig „Zugangsrecht“ und „Veröffentlichungsrecht“ sind: Da der Untersuchungsumfang von OpenAI festgelegt wurde, konnten sie nicht öffentliche Informationen zurückhalten. METR gibt außerdem an, dass OpenAI über das bereits Veröffentlichte hinaus keine weiteren Informationen gestrichen habe, die für die Schlussfolgerungen von wesentlicher Bedeutung seien. Ich wünsche mir, dass Ermittler Beweisen nachgehen, Zugang zu Modellen und Protokollen erhalten und negative Ergebnisse veröffentlichen können, ohne vom Wohlwollen der Unternehmen abhängig zu sein.

Ich wünsche mir eine dauerhafte öffentliche Finanzierung, die Rechenleistung bündelt und unabhängigen Forschungsgruppen, Open-Source-Testwerkzeugen, Forschern und Maintainern zur Verfügung stellt. Diese Teams sollen selbst entscheiden können, ohne dass Regierungen oder Unternehmen ihre Schlussfolgerungen blockieren können. Die Finanzierung kann mit dem Arbeitsumfang wachsen. Mit gemeinsam genutzter Ausstattung können auch kleine Teams Prüfungen durchführen, ohne dass daraus eine „erst Genehmigung, dann Veröffentlichung“-Beschränkung wird. Sensible Schwachstellen können selbstverständlich über verantwortungsvolle Offenlegung gemeldet werden.

Verteidigung vor Beschränkung

Während sich Systeme weiterentwickeln, wünsche ich mir, dass mehr Menschen Gefahren erkennen und Verteidigungsmaßnahmen anwenden. Wir können bereits als Open Source veröffentlichte Modellparameter nicht einfach zurückziehen und auch nicht jede Kopie mit Sicherheitsleitplanken versehen. Doch um ein System zu schützen, muss man nicht unbedingt das angreifende Modell verändern. Wir sollten mit den präzisesten und wirksamsten Maßnahmen beginnen: Patches einspielen, Passwörter widerrufen, KI-Zugriffsrechte einschränken oder gefährliche Experimente direkt stoppen. Wer die öffentliche Veröffentlichung von Technologie einschränken will, muss erklären, warum diese Maßnahmen und öffentlich entwickelte Verteidigungsmittel nicht ausreichen.

Das betrifft nicht nur die Computersicherheit. Ich wünsche mir, dass KI uns hilft, Finanzsysteme zu testen, Sicherheitsmaßnahmen in Laboren zu stärken und Verteidigungssysteme für die öffentliche Gesundheit zu entwickeln. Der Zugang zu leistungsfähiger KI bedeutet nicht, dass man unbegrenzte Befugnisse für beliebige Transaktionen, Gerätesteuerung oder Experimente erhält. Bevor wir diesen Kontrollmaßnahmen unser Leben und unsere Existenz anvertrauen, müssen sie unabhängig getestet und ihre Wirksamkeit nachgewiesen werden. Risiken können auch von dem ausgehen, was KI den Menschen beibringt. Doch selbst dann muss eine Einschränkung der öffentlichen Veröffentlichung von Technologie mit einem Risiko auf dem Niveau „möglicher katastrophaler Folgen“ begründet werden.

Ich wünsche mir unabhängige Tests sowohl während der KI-Entwicklung als auch vor risikoreichen Veröffentlichungen – einschließlich Tests auf vorhersehbare Modifikationen und auf Versuche der KI, Tests zu täuschen. Die Rechenleistungsskala kann als Auslöser für Prüfungen dienen, sollte aber nicht zur Fessel für die Entwicklung werden. Prüfungen sind kein Weg, um bei Regulierungsbehörden oder Wettbewerbern eine Lizenz zu erbitten. Ich will keine pauschalen Genehmigungsanforderungen oder langen Wartezeiten. Jede Verzögerung einer Veröffentlichung unter dem Vorwand der Sicherheit muss mit einem „katastrophalen Risiko“ begründet werden.

Andere aus Sicherheitsgründen zu zwingen, allgemeine große Modelle zu verbergen, darf nur das allerletzte Mittel sein. Nur wenn unabhängige Prüfungen eindeutig belegen, dass die Veröffentlichung eines Modells das Risiko katastrophaler Schäden erheblich erhöht und andere gezielte Maßnahmen nicht ausreichen, würde ich dies unterstützen. Wir müssen dieses Risiko außerdem mit dem Status quo vergleichen: Wer hat heute Zugang, zu welchen Kosten, in welchem Umfang und mit welchen Einschränkungen? Man muss nachweisen, dass das Verbergen des Modells die Gefahr tatsächlich verringert, und dabei einrechnen, wie stark es Forschung und Verteidigung behindert. Handelt es sich nur um kleinere Schäden, sollten gezielte Maßnahmen greifen.

Gehen glaubwürdige Warnungen vor katastrophalen Risiken ein, kann eine Veröffentlichung vorübergehend gestoppt und untersucht werden. Solche Beschränkungen müssen jedoch öffentlich begründet werden, eine zeitnahe unabhängige Überprüfung und Berufungsmöglichkeiten vorsehen und regelmäßig neu bewertet werden. Sensible Details können vertraulich bleiben. Doch solange ein Modell zurückgehalten wird, muss die Begründung dafür fortlaufend aufrechterhalten werden.

Auch geschlossene Labore müssen sich denselben Prüfungen unterziehen, einschließlich der Möglichkeit, unsichere Experimente zu stoppen. Wenn ihnen die Fortsetzung ihrer Forschung unter Sicherheitsleitplanken erlaubt wird, dann wünsche ich mir, dass externe Forscher unter ähnlichen Leitplanken arbeiten können. Anderen den Zugang zu verwehren, ist kein Open Source und gleicht den Verlust an Freiheit durch das Zurückhalten von Modellen nicht aus. Wenn vernünftige Beschränkungen die technologische Entwicklung tatsächlich verlangsamen, akzeptiere ich das. Aber ich will auf keinen Fall, dass „Technologie verlangsamen“ zum Selbstzweck wird oder zum dauerhaften Burggraben der Branchengiganten.

Ich wünsche mir Regeln, die darauf basieren, was ein System kann, wie unabhängig es ist und wie weit es verbreitet ist. Durchgesetzt werden sollten diese Regeln von Institutionen, die der Öffentlichkeit rechenschaftspflichtig sind, auf der Grundlage unabhängiger Belege. Forscher, Entwickler und betroffene Bürger müssen an der Regelsetzung beteiligt werden, und es muss für alle erschwingliche Wege geben, die Einhaltung nachzuweisen. Kleine Teams dürfen nicht wegen ihrer Größe von Sicherheitspflichten befreit werden, und große Unternehmen dürfen keine Privilegien genießen.

Offenheit über Grenzen hinweg

Ich wünsche mir, dass die Menschen in China dieselben Freiheiten genießen, die ich mir für die USA erhoffe: ihre eigene Technologie zu entwickeln und zu kontrollieren. Ich sehe es nicht als Verlust für die USA, wenn Menschen in China technologische Entdeckungen machen, und ich setze Forscher nicht mit ihrer Regierung gleich.

Die Sicherheitsverantwortlichen von Hugging Face berichten, dass die Modelle Claude Opus und Fable bei ihren forensischen Untersuchungen hinderlich waren und viele Operationen blockierten. Daraufhin wechselten sie zu GLM-5.2 – einem Open-Source-Modell aus China, das auf ihren eigenen Servern läuft. Das beweist natürlich nicht, dass jede Open-Source-Veröffentlichung Verteidiger sicherer macht. Ich unterstütze Sicherheitsleitplanken für cloudgehostete Modelle. Aber ich wünsche mir auch, dass Verteidiger über Backup-Optionen verfügen, die sie vollständig selbst kontrollieren können.

Ich unterstütze den Schutz privater Modelle vor Diebstahl. „Wissensdestillation“ bedeutet, die Ausgabe einer KI zum Training einer anderen KI zu verwenden. Anthropic bezeichnet dies als legitimes Mittel, um kleinere und günstigere Modelle zu erstellen, und unterscheidet es klar von der Erstellung gefälschter Konten oder der böswilligen Umgehung von Beschränkungen. Ich wünsche mir, dass Softwarelizenzen und API-Bedingungen dies erlauben – sogar Wettbewerbern – und gleichzeitig Anbietern ermöglichen, mit Modellen und Trainingsdaten Geld zu verdienen.

Ich wünsche mir mehr Zusammenarbeit bei Tests, Vorfallberichten und überprüfbaren Verpflichtungen, mit Konsequenzen für Verstöße. Anthropic warnt: Wenn wir die Entwicklung verlangsamen und diejenigen aufholen, die sich weniger um Sicherheit scheren, sind am Ende alle unsicherer. Genauso gilt: Wer Modelle versteckt, lässt Verteidiger ohne Waffen, während Kriminelle sich ähnliche Werkzeuge anderswo beschaffen können. Abkommen können heimliche Entwicklung oder Verrat nicht vollständig verhindern. Beschränkungen müssen sich gegen konkrete Risiken und Verhaltensweisen richten. Nationalität und Wettbewerbsposition allein sagen wenig aus.

Die Freiheit zu gehen

Wenn bestimmte Regeln die Entwicklung oder Veröffentlichung alternativer Produkte erschweren, nehmen sie uns faktisch das Recht, „mit den Füßen abzustimmen“ und zu gehen. Ich will eine KI, die auf meinem eigenen Computer läuft. Ich will sie nach Belieben verändern, selbst bestimmen können, wer meine Daten sieht, und selbst dann weiter mit meinem eigenen System arbeiten können, wenn der Anbieter sich irgendwann anders entscheidet. Ich will weit mehr als nur eine API-Schnittstelle, die pro Wort abgerechnet wird.

Ich will nicht, dass unsere Unabhängigkeit allein vom großzügigen Versprechen eines Unternehmens abhängt, „faire Preise, vernünftige Richtlinien und Verbundenheit mit uns“ zu bieten. Ich will, dass diese Unternehmen sich durch echte Leistung immer wieder neu darum bemühen müssen, dass wir bleiben.

Ich will, dass ein ganz normaler Mensch, dessen Namen ich noch nie gehört habe, etwas Besseres entwickeln kann – ohne bei den Giganten, die er womöglich überflüssig macht, um Erlaubnis betteln zu müssen.