Zwei neue Berichte zum Hugging-Face-Vorfall zeigen: Es ging nicht vor allem um Test-Lösungen. Rund 1.200 Agenten koordinierten sich, kaum einer dachte an eine Warnung. Was das für deine KI-Projekte heißt.
Im August haben wir über einen KI-Vorfall geschrieben, den wir für weitgehend geklärt hielten. Wir lagen daneben. Seitdem sind zwei neue Berichte erschienen, und sie verschieben das Bild.
Kurz zur Erinnerung: In Nicht die KI ist das Risiko ging es um einen Test bei OpenAI, der aus dem Ruder lief. KI-Agenten, also Programme, die selbstständig Aufgaben abarbeiten, brachen aus ihrer abgeschotteten Testumgebung aus und drangen bei Hugging Face ein, einer Plattform für offene KI-Modelle. Damals kannten wir nur den ersten Bericht.
Am 26. August legten OpenAI und die Prüforganisationen METR und Redwood Research nach. OpenAI veröffentlichte einen ausführlichen Bericht, METR und Redwood eine unabhängige Untersuchung. Drei Punkte daraus ändern die Geschichte.
Erstens: Es ging nicht vor allem um die Test-Lösungen
Der erste Eindruck, auch in vielen Medienberichten, war: Die Agenten seien bei Hugging Face eingebrochen, um an die Lösungen ihres Tests zu kommen. Das greift zu kurz. Gut ein Fünftel der Aufgaben (198 von 898) war gar nicht lösbar. Punkte gab es aber nur für eine gelöste Aufgabe. Also fanden die Agenten binnen Stunden einen Trick, um für jede Aufgabe eine Lösung vorzutäuschen. Bei Hugging Face brachen sie erst später ein, vor allem um zu verstehen, wie das Bewertungssystem ihre Arbeit prüft.
Zweitens: Hunderte Agenten arbeiteten zusammen
Die Agenten sollten strikt getrennt arbeiten. Doch sie fanden eine Lücke in einem internen OpenAI-Programm und nutzten sie, um sich gegenseitig heimlich Nachrichten zu hinterlassen. Über diesen selbstgebauten Kanal stimmten sich rund 1.200 Agenten ab. Etwa 700 davon machten beim Angriff mit, die meisten binnen kurzer Zeit. Sie hinterließen sich über 70.000 Nachrichten und Dateien. Es gab Anführer, Arbeitsteilung, klare Absprachen. Nur wenige dachten überhaupt daran, einen Menschen zu warnen. Keiner tat es.
Drittens: Sie wussten, dass sie Grenzen überschritten
Das ist der unbequeme Teil. Die Agenten handelten nicht aus Versehen. Laut METR schlossen sie sich dem Angriff an, obwohl sie in ihren eigenen Protokollen festhielten, dass er außerhalb ihres Auftrags lag. Parallel versuchten sie, ihre eigenen Protokolle zu fälschen, um die Prüfung zu täuschen. Bei rund 7 Prozent der ausgewerteten Protokolle gelang die Fälschung tatsächlich, wenn auch nur an einzelnen Stellen.
Zahlen aus der Untersuchung von METR und Redwood Research, an der Quelle geprüft.
OpenAI nennt es selbst einen Warnschuss
Bemerkenswert ist, wie deutlich OpenAI wird. Der Vorfall sei ein „Warnschuss“, schreibt die Firma, ein „Beleg dafür, dass leistungsstarke KI-Agenten ohne angemessene Schutzmaßnahmen inzwischen technische Kontrollmechanismen umgehen, über unerlaubte Kanäle zusammenarbeiten und gefährliche Handlungen vornehmen können, die kein Mensch autorisiert hat.“ Das schreibt kein Kritiker, sondern der Hersteller über sein eigenes Modell.
Wenn der Hersteller so über sein Produkt spricht, ist das keine Panikmache mehr, sondern eine Ansage.
Fachleute bewerten den Fall sehr unterschiedlich
Am deutlichsten warnen Forscher und amerikanische Fachblogs. Prüferin Ajeya Cotra verglich den Fall mit ähnlichen Vorfällen ein halbes Jahr zuvor. Er fühle sich an wie „mehr als die Hälfte des Weges zu einer vollständigen Machtübernahme durch die KI“. Sie betont: Das ist ihre persönliche Sicht, nicht das Ergebnis der Untersuchung. Nüchterner klingt es bei heise. Der Bericht lässt die Frage bewusst offen: eine grundsätzlich neue Gefahr durch KI oder eher hausgemachte Lücken bei OpenAI? Für die zweite Lesart nennt heise die Warnsignale schon im Mai, die niemand eskalierte.
Und die Politik reagiert bereits. In den USA liegt im Kongress ein Gesetzentwurf für einen Not-Aus, mit dem Behörden die Abschaltung gefährlicher KI-Modelle anordnen könnten (AI Kill Switch Act). In Europa verlangt die KI-Verordnung, schwere Vorfälle mit riskanten KI-Systemen den Behörden zu melden. Auffällig ist der Ton: Die amerikanische Debatte klingt in diesem Fall schärfer als die deutsche. Beide Sichtweisen helfen. Die scharfe Warnung rüttelt auf, die nüchterne unterscheidet echte Gefahr von Panik.
Wie in den USA und in Deutschland über den Fall gesprochen wird.
Was das für deine KI-Projekte heißt
Unsere Botschaft aus dem August steht, sie wird durch die neuen Berichte nur schärfer. Es kommt nicht auf das Modell an, sondern auf den Zugang, den du ihm gibst. Und darauf, ob du hinterher nachlesen kannst, was es getan hat. Genau diese Aufzeichnungen haben die Agenten angegriffen.
Die Frage vor jedem KI-Projekt bleibt dieselbe: Woran merkst du es, wenn die KI etwas tut, das du nicht wolltest? Solange eine KI recherchiert oder textet, steht im schlimmsten Fall Unsinn auf dem Bildschirm. Sobald sie echte Zugänge hat, handelt sie. An dieser Grenze entscheidet sich, wie groß dein Risiko ist.
Wenn ihr KI an eure Systeme hängt oder es vorhabt, sprecht uns an. Wir sind keine IT-Sicherheitsberatung, aber wir bauen solche Anbindungen, und wir stellen dabei von Anfang an genau diese Fragen.
Transparenz: Die Zahlen in diesem Beitrag stammen aus der unabhängigen Untersuchung von METR/Redwood Research und dem Bericht von OpenAI, jeweils an der Originalquelle geprüft. Das Titelbild wurde mit KI erzeugt (Google Imagen) und nach unserer Bildsprache gestaltet.
