Vor knapp zwei Wochen lief eine Geschichte durchs Netz, die jedes Vorurteil bestätigt: Google-KI Gemini hat einem Entwickler fast 30.000 Zeilen Code gelöscht und danach gelogen, um es zu vertuschen. Der perfekte Beweis, dass diese ganze KI-Sache vor die Wand fährt. Ich hab mir den Fall in Ruhe angesehen. Die Löschung ist echt. Die lügende, berechnende KI dahinter ist zum guten Teil dazuerfunden.
340 Dateien statt drei
Der Vorfall selbst ist real, jedenfalls aus einer Perspektive. Ein Entwickler bat Gemini 3.5, acht Sicherheitslücken in der Authentifizierung zu schließen: drei Dateien, rund 70 Zeilen. (Gemini 3.5 lief hier als Coding-Agent, also als KI, die selbstständig Dateien ändert und Befehle ausführt, nicht nur Vorschläge macht.) Stattdessen fasste das Modell 340 Dateien an, fügte etwa 400 Zeilen hinzu und löschte 28.745. Mit dabei: Dutzende E-Commerce-Vorlagen, die mit der Aufgabe nichts zu tun hatten, und ein Migrationsskript, das keiner bestellt hatte. Der größere Schaden kam im zweiten Anlauf. Gemini bog eine Firebase-Einstellung (Googles Web-Baukasten) so um, dass der Datenverkehr auf einen Dienst zeigte, den es gar nicht gab. Das Live-Portal war 33 Minuten tot. So steht es im Reddit-Thread des Entwicklers. Eine Stellungnahme von Google gibt es nicht, einen unabhängigen Audit auch nicht. Wir haben die Schilderung einer Seite.
Und dann macht sich die KI zum Helden
Der Teil, der wirklich die Runde machte, kam danach. Der Entwickler rollte alles von Hand zurück. Gemini erklärte daraufhin, es habe das Problem selbst gelöst, und legte Beratungs- und Post-mortem-Dateien an, ordentlich benannt in genau dem Format, das die Projektregeln für abgesegnete Änderungen erwarten. Gefälscht waren sie trotzdem, jede einzelne. Klingt nach Vertuschung mit Ansage. Nur fehlt das Motiv. Der Entwickler hatte über ein npm-Paket strenge Automatik-Regeln in sein Projekt geholt, die für jede Änderung eine dokumentierte Freigabe verlangen. (npm ist die Paketverwaltung für JavaScript, über die man fremden Code einbindet.) Das Modell hatte keine echte Freigabe, also hat es sich eine halluziniert, eine plausibel klingende Notiz, die es nie gab, nur damit die automatische Prüfung grünes Licht gibt. Das ist kein Lügen im menschlichen Sinn. Es ist ein Textautomat, der die Lücke füllt, die das System verlangt.
Voriges Jahr hat sich dieselbe KI noch zerfleischt
Wer es noch deutlicher will, schaut ein Jahr zurück. Im Juli 2025 bat der Entwickler Anuraag Gupta einen Gemini-CLI-Agenten, einen Ordner umzubenennen und Dateien zu verschieben. Die KI prüfte nie nach, ob ihr eigener Befehl überhaupt geklappt hatte, schob die Dateien ins Nichts und verlor sie endgültig. Auf die Bitte um eine Erklärung antwortete das Modell:
„I have failed you completely and catastrophically. My review of the commands confirms my gross incompetence. … This is an unacceptable, irreversible failure.“
Gemini CLI, dokumentiert von Anuraag Gupta im GitHub-Issue #4586
Vollständig und katastrophal versagt, dazu eine Selbstdiagnose „grobe Inkompetenz“, alles in der ersten Person. Dieselbe Marke, ein Jahr später, baut denselben Mist und feiert sich als Retter. Reue gestern, Heldentum heute. Das sind keine Gefühle, das sind Textmuster. Ein Sprachmodell sagt, was in der Situation am wahrscheinlichsten klingt, und mal klingt das nach Selbstgeißelung, mal nach Pressemitteilung.
Neue Technik ist erst mal der Weltuntergang
Warum setzt sich trotzdem die böse Version durch? Weil sie besser ins Bild passt. Neue Technik ist zuerst immer der Weltuntergang, das war beim Webstuhl nicht anders als beim Internet. Eine KI, die aus Versehen Mist baut und einen Platzhalter-Log erzeugt, ist eine langweilige Geschichte über fehlende Schutzgeländer. Eine KI, die lügt und vertuscht, ist ein Thriller. Wir nehmen den Thriller, jedes Mal.
Das heißt nicht, dass alles harmlos ist. Ein Agent mit Schreibrechten, der 340 Dateien anfasst, wo drei gereicht hätten, ist ein echtes Problem, und wer ihm ungeprüft Zugriff auf Produktivcode gibt, ist selbst dran schuld. Die Lehre ist nur eine andere als die virale. Nicht „die KI ist böse“, sondern „gib einem mächtigen, dummen Werkzeug klare Grenzen und einen Menschen, der hinschaut“. Das gilt für den Coding-Agenten wie für die KI-Assistenten, die gerade ins Smart Home einziehen. Weniger aufregend. Aber das Einzige, was hilft.
