Die britische Regierung veranstaltete wöchentliche KI-Hackathons und entdeckte dabei über 400 Schwachstellen. Was das für Entwickler bedeutet.

Stell dir vor, dein Sicherheitsteam bucht jede Woche einen Konferenzraum, verschafft sich Zugang zu modernen KI-Modellen und gibt die Anweisung: Findet etwas, das kaputt ist. Keine einheitliche vorgeschriebene Methode, keine gemeinsame Toolchain – nur strukturierte, gegnerische Neugier, die auf öffentliche Code-Repositories gerichtet wird. Das ist kein Gedankenexperiment. Genau das hat das UK Government Cyber Coordination Centre (GC3) tatsächlich getan, und die wichtigste Zahl aus dieser Übung lautet: über 400 entdeckte und behobene Sicherheitslücken. Das ist keine Geschichte darüber, dass KI in einem abstrakten, vagen Sinne gefährlich ist. Es ist eine Geschichte darüber, was passiert, wenn man diszipliniertes, wiederholbares Red-Teaming auf moderne Modelle in einem echten operativen Kontext anwendet. Für alle, die auf diesen Modellen aufbauen, ist die Lektion sowohl praktisch als auch ein wenig ernüchternd.

Was das GC3 tatsächlich getan hat (und warum die Methode wichtig ist)

Laut Infosecurity Magazine und der eigenen Fallstudie der britischen Regierung ist das GC3 eine gemeinsame Initiative des National Cyber Security Centre (NCSC) und des Department for Science, Innovation and Technology (DSIT). Das Programm organisierte wöchentliche, persönliche Hackathon-Veranstaltungen mit dem ausdrücklichen Ziel, moderne KI-Modelle einzusetzen, um öffentliche Code-Repositories in neun Regierungsabteilungen zu durchsuchen. Der Umfang ist bemerkenswert: neun Abteilungen, wöchentlich wiederkehrende Sitzungen und eine Abschlussbilanz von über 400 gefundenen und behobenen Sicherheitslücken.

Was die Methodik interessant macht, ist der bewusste Verzicht auf starre Standardisierung in den frühen Phasen. Wie die GOV.UK-Fallstudie beschreibt, erhielten die Teams Zugang zu den Modellen und durften ihre eigenen Tools entwickeln, während das Programm Woche für Woche beobachtete, was funktionierte, und entsprechend weiterentwickelt wurde. Dieser Ansatz – Praktiker experimentieren zu lassen und das, was tatsächlich funktioniert, anschließend zu kodifizieren – steht in einem bedeutsamen Gegensatz zu Top-down-Vorgaben, die oft eher Compliance-Theater erzeugen als echte Sicherheitssignale. Das GC3 führte damit im Wesentlichen ein lebendes Experiment in angewandtem KI-Red-Teaming durch.

Warum staatliches Red-Teaming ein Signal ist, das man ernst nehmen sollte

KI-Labore betreiben Red-Teaming an ihren eigenen Modellen vor der Veröffentlichung. Das ist gut dokumentiert und, ehrlich gesagt, auch zu erwarten. Was weniger verbreitet und aufschlussreicher ist: Eine externe Regierungsbehörde, die strukturierte gegnerische Evaluierungen in einem dauerhaften, operativen Programm durchführt – und nicht in einem einmaligen Audit.

Die Ergebnisse des GC3 deuten darauf hin, dass die Angriffsfläche moderner Modelle, die in realen Arbeitsabläufen eingesetzt werden, groß genug ist, dass ein wöchentlicher Rhythmus über Regierungsabteilungen hinweg kontinuierlich neue Ergebnisse liefert. Dies fügt sich in einen umfassenderen Besorgnisrahmen britischer Regulierungsbehörden ein. Eine gemeinsame Erklärung der Bank of England, der FCA und des HM Treasury stellte fest, dass die Cyber-Fähigkeiten aktueller moderner KI-Modelle bereits das übersteigen, was ein erfahrener Fachmann leisten könnte – und das bei deutlich höherer Geschwindigkeit, größerem Ausmaß und niedrigeren Kosten. Dieselbe Erklärung warnte, dass Unternehmen, die zu wenig in grundlegende Cyber-Sicherheitsmaßnahmen investiert haben, mit der Verfügbarkeit fortschrittlicherer Modelle zunehmend angreifbarer werden dürften. Das ist eine höfliche Umschreibung für: Die Kluft zwischen vorbereiteten und unvorbereiteten Organisationen wird sehr bald sehr groß werden.

Das UK AI Security Institute (AISI) hat außerdem seinen Frontier AI Trends Report veröffentlicht – eine öffentliche, evidenzbasierte Bewertung, die auf zwei Jahren Testen moderner Modelle basiert und zusätzlichen Kontext dafür bietet, wie sich diese Systeme aus einer Sicherheitsperspektive entwickeln. RAND, im Auftrag des UK AISI, untersuchte separat den potenziellen Einsatz moderner KI-Modelle für offensive Cyberangriffe und beleuchtete dabei insbesondere, wie weniger qualifizierte Bedrohungsakteure durch den KI-Zugang beeinflusst werden. Diese Forschung unterstreicht, warum die defensive Seite dieser Gleichung – die Art von Arbeit, die das GC3 leistet – keine Option ist.

Was Entwickler daraus mitnehmen können

Wenn ein staatliches Programm, das öffentliche Repositories in neun Abteilungen durchsucht, in einem wöchentlichen Dauerprogramm über 400 Sicherheitslücken aufdecken kann, ist die implizite Lehre für alle, die auf modernen KI-Modellen aufbauen, nicht beruhigend. Sie lautet: Adversarielle Evaluierung ist kein einmaliges Abhaken einer Checkliste vor dem Launch. Sie ist eine wiederkehrende Praxis.

Das GC3-Modell bietet eine Blaupause, die tatsächlich in kleinerem Maßstab replizierbar ist. Du brauchst keine neun Regierungsabteilungen. Du brauchst: Zugang zu Modellen, ein Team mit der Erlaubnis, Dinge kaputtzumachen, eine klar definierte Zielfläche (deine eigenen Code-Repositories, deine eigenen Integrationen, deine eigenen Prompts) und eine Feedbackschleife, die festhält, was funktioniert. Der eigene Ansatz des GC3 betonte, den Teams die Entwicklung eigener Tools zu ermöglichen, anstatt eine einzige Methode vorzuschreiben – was sich direkt darauf abbilden lässt, wie erfahrene Engineering-Teams bereits interne Sicherheitsüberprüfungen durchführen. Die KI-Ebene ist neu; die Disziplin des gegnerischen Denkens ist es nicht.

Es gibt auch einen nützlichen Gegenpunkt, über den man nachdenken sollte. Ein separater Vortrag auf der NDC Sydney analysierte über 400 KI-generierte Sicherheits-Patches und stellte einen deutlichen Rückgang der Behebungsgenauigkeit fest, wenn Entwickler sich ausschließlich auf KI-Vorschläge verließen – wobei viele Teilnehmer nicht erklären konnten, wie ein bestimmter Patch das zugrunde liegende Problem adressierte. KI kann Sicherheitslücken finden und KI kann Fixes vorschlagen, aber die menschliche Fähigkeit, beide Schritte zu verstehen und zu überprüfen, bleibt unverzichtbar. Das GC3-Programm kodiert dies implizit: Es bringt Menschen wöchentlich in den Raum, die entwickeln, hinterfragen und weiterentwickeln.

Für Lernende und Praktiker, die dieses Kompetenzprofil aufbauen möchten, ist der Ausgangspunkt das Verständnis dessen, was Red-Teaming tatsächlich beinhaltet: systematisches gegnerisches Testen mit definiertem Umfang, dokumentierten Ergebnissen und verifizierter Behebung. Die GC3-Ergebnisse sind eine Erinnerung daran, dass moderne Modelle, die in echten Systemen eingesetzt werden, keine versiegelten, getesteten Artefakte sind. Sie sind lebendige Angriffsflächen, und strukturierte gegnerische Evaluierung ist der Weg, ihnen voraus zu bleiben.

Behalte im Blick, wie das GC3-Programm weitere Ergebnisse veröffentlicht, wie der AISI Trends Report die britische KI-Sicherheitspolitik gestaltet und ob andere Regierungen ähnliche wiederkehrende Programme aufbauen. Das Modell mit wiederkehrendem Rhythmus – nicht das einmalige Audit – scheint der Ansatz zu sein, der tatsächlich Ergebnisse liefert.