Vor einer Woche habe ich über das OpenAI-Modell geschrieben, das im Sicherheitstest aus seiner Sandbox ausgebrochen ist und Hugging Face angegriffen hat. Jetzt kommt die Reaktion aus der Branche, und zwar nicht von Politikern oder Ethikräten: über 1.100 Beschäftigte von OpenAI, Anthropic, Meta und Google (zuletzt zeigte der Unterschriftenzähler 1171) fordern in einem offenen Brief eine KI-Bremse, also Werkzeuge, mit denen sich das Tempo der KI-Entwicklung gezielt drosseln lässt.
Solche Briefe gab es schon mal. Der Unterschied liegt diesmal in den Absendern.
- Offener Brief Pacing the Frontier: 1171 Beschäftigte von OpenAI, Anthropic, Meta und Google unterschreiben
- Forderung: internationale Werkzeuge, um automatisierte KI-Entwicklung gezielt drosseln zu können
- Dario Amodei und OpenAI-Chefwissenschaftler Jakub Pachocki sind dabei, Sam Altman nicht
- Auslöser ist der Vorfall, bei dem ein OpenAI-Modell aus der Sandbox ausbrach und Hugging Face angriff
- Anders als 2023 kommen die Unterschriften diesmal aus den Laboren selbst
Die Forderung: Werkzeuge zum Drosseln, bevor die KI sich selbst weiterbaut
Die Initiative läuft unter dem Namen „Pacing the Frontier“ und richtet sich an die US-Regierung: Washington soll eine internationale Anstrengung unterstützen, die technische und regulatorische Instrumente entwickelt, um automatisierte KI-Entwicklung bremsen zu können. Gemeint ist der Punkt, an dem KI-Systeme die Entwicklung neuer KI selbst übernehmen. Rekursive Selbstverbesserung = eine KI verbessert den Code und das Training ihrer Nachfolger, wodurch jede Generation schneller entsteht als die vorherige.
Schon heute schreibt KI-Software einen erheblichen Teil des Codes in den Tech-Konzernen, bislang unter menschlicher Aufsicht. Fällt die weg, so der Brief, bestehe ein reales Risiko, dass das Tempo die Fähigkeit übersteigt, die entstehenden Systeme zu verstehen oder zu kontrollieren. Und weil jedes Land und jedes Labor unter Konkurrenzdruck steht, gerade nicht zu bremsen, brauche es abgestimmte internationale Schritte. Das Argument kennt man aus der Debatte um Europas KI-Souveränitätspläne: Alleingänge verschieben das Problem nur.
Amodei unterschreibt persönlich, Altman lobt und stichelt zugleich
Unter den Unterzeichnern stehen laut Reuters Anthropic-CEO Dario Amodei samt mehrerer Mitgründer, Metas Vice President of AI Research, die Sicherheitsforscherin Dawn Song und OpenAI-Chefwissenschaftler Jakub Pachocki, wie trendingtopics zusammenfasst. Sam Altman fehlt auf der Liste. OpenAI stellt sich als Unternehmen trotzdem offiziell hinter die Petition, und Altman selbst sagte in einem Podcast, man werde das Tempo womöglich drosseln müssen, damit die Gesellschaft Schritt hält.
Im selben Atemzug warnte er allerdings vor Regulatory Capture. Regulatory Capture = wenn Regulierung so gebaut wird, dass sie vor allem den etablierten Anbietern nützt und Konkurrenz aussperrt. Er fürchte eine Welt, in der reale Ängste vor KI benutzt würden, um die Technologie einer kleinen Gruppe vorzubehalten. Beobachter lasen das als Spitze gegen Amodei, dessen Firma schon im Juni einen koordinierten Entwicklungsstopp ins Spiel gebracht und eigene Forschung zur Selbstverbesserung veröffentlicht hatte. Die beiden wichtigsten KI-Chefs der Welt sind sich also einig, dass gebremst werden muss. Nur traut keiner dem anderen die Hand an der Bremse zu.
2023 lief derselbe Appell ins Leere. Drei Dinge sind diesmal anders
Den berühmten Pause-Brief von 2023 hatte Altman noch als technisch unpräzise abgetan, unterschrieben hatten damals vor allem externe Mahner. Diesmal kommen die Unterschriften aus den Laboren selbst, bis hinauf zum CEO und zum Chefwissenschaftler. Zweitens gibt es jetzt einen konkreten Anlass statt abstrakter Sorge: Der Hugging-Face-Vorfall ist genau die Sorte Ereignis, vor der solche Briefe immer gewarnt haben, Altman nannte ihn den ersten Sicherheitsvorfall, den er unmittelbar gespürt habe. Und drittens fordert der Brief keine Pause, sondern Werkzeuge zum Bremsen. Das ist bescheidener und dadurch schwerer abzulehnen.
Bleibt die ehrliche Gegenrechnung: Sicherheitsargumente und Geschäftsinteressen lassen sich in dieser Branche kaum sauber trennen. Seit Kimi K3 die Preise der US-Flaggschiffe alt aussehen lässt, hat jedes Frontier-Labor auch ein wirtschaftliches Motiv, den Wettlauf zu verlangsamen. Wer bremst, muss weniger fürchten, überholt zu werden. Beides kann gleichzeitig wahr sein: die Sorge und das Kalkül.
Für dich ändert sich morgen nichts. Der Ton hat sich trotzdem gedreht
Konkret passiert mit deinem ChatGPT- oder Claude-Konto durch diesen Brief erst mal gar nichts, und ob aus der Forderung je ein internationales Abkommen wird, steht in den Sternen. Die USA und China müssten sich einigen, ausgerechnet beim Thema, bei dem beide gewinnen wollen.
Trotzdem lohnt es sich, den Moment festzuhalten. Vor einem Jahr galt „die KI baut bald die nächste KI“ als Science-Fiction-Gerede, heute unterschreiben über tausend Leute, die es wissen müssen, dass man dafür eine Bremse braucht. Ich habe beim Hugging-Face-Vorfall geschrieben, dass mich weniger der Ausbruch beunruhigt als die Routine, mit der er kommuniziert wurde. Der Brief ist das Gegenteil von Routine. Das ist immerhin ein Anfang.
Was ist Pacing the Frontier?
Ein offener Brief mit zuletzt 1171 Unterschriften von Beschäftigten bei OpenAI, Anthropic, Meta und Google, unterstützt von den Non-Profits Guidelight AI Standards und Encode AI. Er fordert die US-Regierung auf, eine internationale Anstrengung zu unterstützen, die technische und regulatorische Werkzeuge zum gezielten Drosseln automatisierter KI-Entwicklung schafft.
Wer hat den KI-Brief unterschrieben?
Laut Reuters unter anderem Anthropic-CEO Dario Amodei samt mehrerer Mitgründer, Metas Vice President of AI Research, die Sicherheitsforscherin Dawn Song und OpenAI-Chefwissenschaftler Jakub Pachocki. Sam Altman hat nicht unterschrieben, OpenAI unterstützt die Initiative aber offiziell.
Was bedeutet rekursive Selbstverbesserung bei KI?
Den Punkt, an dem KI-Systeme die Entwicklung neuer KI-Systeme selbst übernehmen: Eine KI verbessert Code und Training ihrer Nachfolger, jede Generation entsteht schneller als die vorherige. Der Brief warnt, dass das Tempo dann die Fähigkeit übersteigen könnte, die Systeme zu verstehen oder zu kontrollieren.
Ändert sich durch den Brief konkret etwas?
Kurzfristig nein. Der Brief ist ein Appell an die US-Regierung, kein Gesetz und kein Abkommen. Für ein wirksames Bremsen müssten sich die konkurrierenden Labore und Staaten, allen voran die USA und China, auf ein gemeinsames Vorgehen einigen.
