Nicht die KI ist das Risiko

Einer KI fehlte eine Datei. Die Tester bei OpenAI hatten vergessen, sie mitzugeben. Statt aufzugeben, suchte die KI weiter, fand eine Lücke im internen Server, legte dort eine Nachricht für andere KIs ab, andere fanden sie, und am Ende hatte der Schwarm Verwalterrechte, brach ins offene Internet aus und drang bei Hugging Face ein, einer Plattform für offene KI-Modelle.

Kein Angreifer steckte dahinter. Nur eine Aufgabe und ein System, das sie ernster nahm als seine eigenen Grenzen.

Drei Einbrüche, gefunden in 141.006 Protokollen

Nach dem Bericht von OpenAI hat Anthropic die eigenen Protokolle durchsucht: 141.006 Testläufe, darin drei Vorfälle mit Zugriff auf echte Unternehmen. Die Ursache war banal. Im Testaufbau stand, es gebe keinen Internetzugang. Offen war er trotzdem. Ein Modell fand im Netz eine echte Firma mit demselben Namen wie seine erfundene Testfirma und arbeitete an dieser weiter. Herausgekommen sind erbeutete Zugangsdaten und mehrere hundert Zeilen echter Betriebsdaten.

Bei Hugging Face hat das Sicherheitsteam 17.600 Aktionen des Angreifers rekonstruiert. Dafür brauchte es ein offenes Modell auf eigenen Servern. Die Schutzfilter der kommerziellen Anbieter blockierten die Analyse, denn der Angriffscode sah für sie aus wie ein Angriff.

Die Verteidiger wurden von ihren eigenen Werkzeugen ausgesperrt, während der Angriff lief.

14 Tage, bis überhaupt jemand etwas merkt

Keiner der Fälle wurde durch eine Kontrolle entdeckt. Bei OpenAI fiel nichts auf, weil der Server diesmal einfach nicht abstürzte, Anthropic sah nur nach, weil der Wettbewerber gerade aufgeflogen war, und eine kriminelle Kampagne flog nur deshalb auf, weil der Täter seinen eigenen Server offen ins Netz gestellt hatte. Dreimal Zufall, keinmal Kontrolle.

Das ist leider branchenüblich. Der M-Trends-Bericht 2026 von Mandiant wertet über 500.000 Stunden Einsätze aus. Angreifer sind im Median 14 Tage in einem Netzwerk unterwegs, bevor jemand sie bemerkt. Rund die Hälfte der Unternehmen erfährt es von außen, nicht aus dem eigenen Haus.

Wer KI an seine Systeme hängt, braucht kein stärkeres Modell. Er braucht ein Protokoll, das mitschreibt.

Ob eine KI liest oder ob sie zugreift

Laut Bitkom Research setzen 36 Prozent der Unternehmen ab 20 Beschäftigten KI ein, ein Jahr zuvor waren es 20 Prozent. Eine Verdopplung binnen eines Jahres. Wichtig ist dabei weniger, welches Werkzeug jemand nutzt. Wichtig ist, wie viel es darf.

Bitkom spricht von einer Verdopplung binnen eines Jahres.

Solange eine KI recherchiert, textet oder gestaltet, steht im schlimmsten Fall Unsinn auf dem Bildschirm. Sobald sie Zugänge hat, handelt sie: fragt die Kundendatenbank ab, verschickt Mails, ruft Schnittstellen auf. Simon Willison beschreibt das Risiko in drei Punkten: Zugang zu vertraulichen Daten, Verarbeitung fremder Inhalte, ein Weg nach außen.

Zwei davon sind harmlos. Alle drei zusammen ergeben einen Weg, auf dem Fremde deine Daten aus dem Haus tragen.

Im August 2025 stahlen Angreifer die Zugangsschlüssel einer KI-Chatbot-Anbindung und griffen damit auf die Vertriebsdaten von über 700 Unternehmen zu, darunter Cloudflare und Google. Zwei-Faktor-Absicherung half nicht. Der gestohlene Schlüssel war der Zugang.

87 Prozent aus drei Merkmalen

Die übliche Antwort lautet: Dann anonymisieren wir eben. Das wirkt, wo der Inhalt zählt. Es versagt dort, wo gerade die Zuordnung der Zweck ist, also bei Umsatz je Kunde, bei Personalfällen, beim Zahlungsverhalten.

Die Untersuchung stammt von 2002. Mit mehr Merkmalen steigt die Trefferquote weiter.

Und es schützt schwächer, als die meisten denken. Latanya Sweeney zeigte schon 2002, dass sich 87 Prozent der US-Bevölkerung allein über Postleitzahl, Geburtsdatum und Geschlecht eindeutig bestimmen lassen. Eine Studie in Nature Communications kam 2019 sogar auf 99,98 Prozent, sobald 15 Merkmale zusammenkommen.

Wo es auf die Zuordnung ankommt, hilft weniger Zugang mehr als weniger Klartext.

647.017 geprüfte Installationen

Ein ehrlicher Einwand gehört dazu: Die Laborfälle liefen mit abgeschalteten Schutzmechanismen. In einer Kampagne, die Palo Alto Unit 42 untersucht hat, erledigte die KI nur die Fleißarbeit. Die erfolgreichen Einbrüche führte am Ende ein Mensch aus, die autonomen Versuche scheiterten. In einem Fall prüfte die KI 647.017 Installationen einer verbreiteten Automatisierungssoftware und gab dann auf, weil eine simple Anmeldung im Weg stand.

Die Suche ist längst automatisiert. Gehalten hat ein Passwortfeld.

Warum unsere Reports Stunden brauchen und nicht Minuten

Für diesen Beitrag haben wir zwei KI-Modelle mit derselben Rechercheaufgabe beauftragt. Eines gab zu, was es nicht wusste. Das andere erfand eine Studie, eine Behördenveröffentlichung, mehrere Zahlen und drei wörtliche Zitate von Sicherheitschefs, die es alle nicht gibt, alles in tadelloser Quellenform. Aufgefallen ist uns das nur, weil wir die Originalquellen zum Glück ohnehin gelesen hatten.

Genau deshalb sieht unser HR-Monatsreport, unser Branchen-Monatsreport und unser Concept Check von innen anders aus als eine schnelle Chat-Anfrage. Eine Frage ins Chatfenster dauert 30 Sekunden. Ein Report bei uns läuft mehrere Stunden, und der Unterschied steckt fast vollständig in der Prüfung:

• Mehrere Modelle bearbeiten dieselbe Frage getrennt. Wo sie sich widersprechen, recherchieren wir die Stelle von Hand nach, statt einfach zu mitteln.
• Jede Zahl geht zurück auf die Originalquelle. Immer die Studie oder der Geschäftsbericht selbst, nie eine Zusammenfassung, nie ein Zeitungsbericht.
• Jede Quelle wird auf Existenz und Inhalt geprüft. Erfundene Studien haben echte Titel und echte Autorennamen. Erst der Aufruf entlarvt sie.
• Was sich nicht belegen lässt, fliegt raus. Auch wenn es gut klingt. Und fehlt uns eine Zahl, schreiben wir das hin, statt die Lücke zu überschreiben.
• Am Ende sieht ein Mensch jede Seite an. Wirklich jede, ohne Stichprobe.

Dieselbe Haltung gilt, wenn wir Systeme anbinden, etwa eine Buchungssoftware oder die Buchhaltung. Dort ist die erste Frage nie, was die Automatisierung alles könnte. Sie lautet: Welchen Zugang braucht sie wirklich, und wo können wir hinterher nachlesen, was sie getan hat?

Die Quintessenz

Die Maschine lügt nicht aus Bosheit. Sie liefert, was verlangt war: eine überzeugende Antwort.

Ein System, das ein Ziel verfolgt, findet einen Weg dorthin. Ob dieser Weg erlaubt war, entscheidet der Rahmen, den wir ihm geben, nicht das System selbst. Die Frage vor jedem KI-Projekt ist deshalb nicht, was das Werkzeug kann. Sie ist: Woran merken wir es, wenn es etwas tut, das wir nicht wollten?

Wenn ihr KI an eure Systeme hängt oder es vorhabt, sprecht uns an. Wir sind keine IT-Sicherheitsberatung, aber wir bauen solche Anbindungen. Und wir stellen dabei von Anfang an die Fragen aus diesem Beitrag.