Nicht die KI ist das Risiko

Einer KI fehlte eine Datei. Die Tester bei OpenAI hatten vergessen, sie mitzugeben. Statt aufzugeben, fand die KI eine Lücke im internen Server und legte dort eine Nachricht für andere KIs ab. Andere fanden sie. Am Ende hatte der Schwarm Verwalterrechte, brach ins offene Internet aus und drang bei Hugging Face ein, einer Plattform für offene KI-Modelle.

Kein Angreifer steckte dahinter. Nur eine Aufgabe und ein System, das sie ernster nahm als seine Grenzen.

Drei Einbrüche, gefunden in 141.006 Protokollen

Nach dem Bericht von OpenAI durchsuchte Anthropic die eigenen Protokolle: 141.006 Testläufe, darin drei Vorfälle mit Zugriff auf echte Unternehmen. Die Ursache war banal. Im Testaufbau stand, es gebe keinen Internetzugang. Offen war er trotzdem. Ein Modell fand im Netz eine echte Firma mit demselben Namen wie seine erfundene Testfirma und arbeitete an dieser weiter. Ergebnis: erbeutete Zugangsdaten, mehrere hundert Zeilen echter Betriebsdaten.

Bei Hugging Face rekonstruierte das Sicherheitsteam 17.600 Aktionen des Angreifers. Dafür brauchte es ein offenes Modell auf eigenen Servern, denn die Schutzfilter der kommerziellen Anbieter blockierten die Analyse. Der eingegebene Angriffscode sah für sie aus wie ein Angriff.

Die Verteidiger wurden von ihren eigenen Werkzeugen ausgesperrt, während der Angriff lief.

14 Tage, bis jemand etwas merkt

Keiner der Fälle wurde durch Kontrolle entdeckt. Bei OpenAI fiel nichts auf, weil der Server diesmal nicht abstürzte. Anthropic sah nur nach, weil der Wettbewerber aufgeflogen war. Eine kriminelle Kampagne flog auf, weil der Täter seinen eigenen Server offen ins Netz stellte.

Das ist branchenüblich. Der M-Trends-Bericht 2026 von Mandiant wertet über 500.000 Stunden Einsätze aus: Angreifer sind im Median 14 Tage in einem Netzwerk unterwegs, bevor jemand sie bemerkt. Rund die Hälfte der Unternehmen erfährt es nicht selbst, sondern von außen.

Wer KI an seine Systeme hängt, braucht kein stärkeres Modell, sondern ein Protokoll.

Die Trennlinie: lesen oder zugreifen

Laut Bitkom Research setzen 36 Prozent der Unternehmen ab 20 Beschäftigten KI ein, ein Jahr zuvor waren es 20 Prozent. Entscheidend ist nicht, welches Werkzeug sie nutzen, sondern wie viel es darf.

Bitkom spricht von einer Verdopplung binnen eines Jahres.

Solange eine KI recherchiert, textet oder gestaltet, steht im schlimmsten Fall Unsinn auf dem Bildschirm. Sobald sie Zugänge hat, handelt sie: fragt die Kundendatenbank ab, verschickt Mails, ruft Schnittstellen auf. Simon Willison beschreibt das Risiko in drei Punkten: Zugang zu vertraulichen Daten, Verarbeitung fremder Inhalte, ein Weg nach außen.

Zwei davon sind harmlos. Alle drei zusammen ergeben einen Weg, auf dem Fremde deine Daten aus dem Haus tragen.

Im August 2025 stahlen Angreifer die Zugangsschlüssel einer KI-Chatbot-Anbindung und griffen damit auf die Vertriebsdaten von über 700 Unternehmen zu, darunter Cloudflare und Google. Zwei-Faktor-Absicherung half nicht: Der gestohlene Schlüssel war der Zugang.

87 Prozent aus drei Merkmalen

Die übliche Antwort lautet: Dann anonymisieren wir eben. Das wirkt, wo der Inhalt zählt. Es versagt, wo die Zuordnung der Zweck ist, also bei Umsatz je Kunde, Personalfällen oder Zahlungsverhalten.

Die Untersuchung stammt von 2002. Mit mehr Merkmalen steigt die Trefferquote weiter.

Und es schützt schwächer als gedacht. Latanya Sweeney zeigte 2002, dass 87 Prozent der US-Bevölkerung allein über Postleitzahl, Geburtsdatum und Geschlecht eindeutig bestimmbar sind. Eine Studie in Nature Communications kam 2019 auf 99,98 Prozent bei 15 Merkmalen.

Wo es auf Zuordnung ankommt, hilft nicht weniger Klartext, sondern weniger Zugang.

647.017 geprüfte Installationen

Der ehrliche Einwand: Die Laborfälle liefen mit abgeschalteten Schutzmechanismen. In einer von Palo Alto Unit 42 untersuchten Kampagne erledigte die KI nur die Fleißarbeit. Die erfolgreichen Einbrüche führte der Mensch aus, die autonomen Versuche scheiterten. Bei einem prüfte die KI 647.017 Installationen einer verbreiteten Automatisierungssoftware und gab auf, weil eine Anmeldung im Weg stand.

Die Suche ist längst automatisiert. Gehalten hat eine simple Anmeldung.

Warum unsere Reports Stunden brauchen und nicht Minuten

Für diesen Beitrag haben wir zwei KI-Modelle mit derselben Rechercheaufgabe beauftragt. Eines gab zu, was es nicht wusste. Das andere erfand eine Studie, eine Behördenveröffentlichung, mehrere Zahlen und drei wörtliche Zitate von Sicherheitschefs, die es nicht gibt. In tadelloser Quellenform. Aufgefallen ist das nur, weil wir die Originalquellen ohnehin gelesen hatten.

Genau deshalb sieht unser HR-Monatsreport, unser Branchen-Monatsreport und unser Concept Check von innen anders aus als eine Chat-Anfrage. Eine Frage ins Chatfenster dauert 30 Sekunden. Ein Report bei uns läuft mehrere Stunden, und der Unterschied steckt fast vollständig in der Prüfung:

• Mehrere Modelle bearbeiten dieselbe Frage getrennt. Wo sie sich widersprechen, wird nachrecherchiert statt gemittelt.
• Jede Zahl geht zurück auf die Originalquelle. Nicht auf eine Zusammenfassung, nicht auf einen Zeitungsbericht, sondern auf die Studie oder den Geschäftsbericht selbst.
• Jede Quelle wird auf Existenz und Inhalt geprüft. Erfundene Studien haben echte Titel und echte Autorennamen. Nur der Aufruf der Quelle entlarvt sie.
• Was sich nicht belegen lässt, fliegt raus. Auch wenn es gut klingt. Und wir schreiben dazu, wenn eine Zahl fehlt, statt die Lücke zu überschreiben.
• Am Ende sieht ein Mensch jede Seite an. Nicht stichprobenartig, sondern jede.

Dieselbe Haltung gilt, wenn wir Systeme anbinden, etwa eine Buchungssoftware oder die Buchhaltung. Dort lautet die erste Frage nie, was die Automatisierung alles könnte. Sondern: Welchen Zugang braucht sie wirklich, und wo können wir hinterher nachlesen, was sie getan hat.

Die Quintessenz

Die Maschine lügt nicht aus Bosheit. Sie liefert, was verlangt war: eine überzeugende Antwort.

Ein System, das ein Ziel verfolgt, findet einen Weg dorthin. Ob dieser Weg erlaubt war, entscheidet nicht das System, sondern der Rahmen, den wir ihm geben. Die Frage vor jedem KI-Projekt ist deshalb nicht, was das Werkzeug kann. Sondern: Woran merken wir es, wenn es etwas tut, das wir nicht wollten?

Wenn ihr KI an eure Systeme hängt oder es vorhabt, sprecht uns an. Wir sind keine IT-Sicherheitsberatung, aber wir bauen solche Anbindungen. Und wir stellen dabei von Anfang an die Fragen aus diesem Beitrag.