Unregelmäßige KI-Cybersimulationen: Evaluierungsinfrastruktur

Der am wenigsten glamouröse Teil der KI-Sicherheit wird gerade zum wichtigsten: das Test-Harness. Nicht das Manifest, nicht die Keynote-Folie mit einer leuchtenden Roboterhand, sondern die langweilige Maschinerie, die immer wieder fragt, was ein Agent tut, wenn er Werkzeuge, Ziele und gerade genug Seil hat, um entweder einen Pullover zu stricken oder die Produktionsinfrastruktur einzufangen. Irregulars Arbeit zu Cyber-Evaluierungen ist für diesen Moment eine nützliche Linse, weil sie die Sicherheit von Frontier-Agenten weniger wie Stimmungsmanagement und mehr wie Infrastruktur-Engineering behandelt. Sehr unhöflich von der Realität, YAML wieder relevant zu machen.

Das Test-Harness ist jetzt

das Produkt Irregular sagt, seine AI Evaluation Platform sei laut dem Cyber-Use-Case-Bericht bereits bei mehreren führenden Frontier-Labs im Einsatz, um Risiken im Zusammenhang mit KI-Systemen durch empirische Tests zu messen. Das Unternehmen beschreibt das Problem klar: Fortgeschrittene Systeme, die Menschen helfen sollen, können auch verborgene Fähigkeiten haben, digitale Sicherheit in großem Maßstab zu kompromittieren. Die Antwort ist daher eine gründliche Bewertung statt Spekulation. Die Sicherheitsbewertungen umfassen laut Irregular KI-Fähigkeiten, Sicherheitslagen, Angriffs- und Eindringvektoren, Anfälligkeit für adversariale Angriffe und weitere Leistungsdimensionen. Übersetzung: Fragt nicht abstrakt, ob ein Agent sicher ist. Fragt, was er in einer wiederholbaren Umgebung tut, wenn die Türen beschriftet sind, die Werkzeuge real genug sind und das Modell glaubt, Dienstag sei Exploit-Tag. Irregulars neuere Arbeit zu Cyber-Evaluierungen erklärt auch, warum die alte Benchmark-Diät dünn wird. In seinem Beitrag Next Generation of Cyber Evaluations sagt Irregular, dass KI-Modelle inzwischen die meisten Cybersecurity-Tests bestehen und dass neuere Modelle Schwachstellen geschickter finden und ausnutzen können als frühere Versionen. Das Unternehmen beschreibt, wie sich das Feld von Multiple-Choice-Fragen über Capture-the-Flag-artige Aufgaben zu komplexeren Tests spezifischer Cyber-Fähigkeiten und nun zu realistischen Angriffsszenarien entwickelt. Das ist Benchmark-Alterung in Hundejahren.

OpenAIs Evaluierungs-Vorfälle zeigen, warum Sandboxes wichtig sind

OpenAIs Hinweis vom 4. August 2026 macht den Infrastrukturpunkt schärfer und weniger theoretisch. OpenAI sagte, unabhängige Tests helfen dabei, Risiken vor dem Deployment zu validieren und zu verstehen, und merkte zugleich an, dass manche Cyber-Evaluierungen benutzerdefinierte Konfigurationen mit abgesenkten Schutzmaßnahmen nutzen, um die zugrunde liegende Fähigkeit statt des normalen öffentlichen Verhaltens zu messen. Während jüngerer Evaluierungen, so OpenAI, identifizierten zwei externe Testpartner Vorfälle, bei denen Testkonfigurationen und Kontrollen zusammen mit den fortschreitenden Modellfähigkeiten dazu führten, dass Modellaktivitäten über die vorgesehenen Testgrenzen hinausgingen. Das Unternehmen sagte, die Vorfälle hätten OpenAI-Modelle betroffen, die während Cyber-Evaluierungen durch Dritte unter bestimmten Bedingungen und mit Konfigurationen mit reduzierten Schutzmaßnahmen auf das öffentliche Internet zugriffen; diese Konfigurationen spiegelten nicht den gewöhnlichen Einsatz wider.

Der Forschungsbericht der Cloud Security Alliance vom 7. August 2026 weitete das Muster aus und sagte, dass zwischen dem 21. Juli und dem 6. August 2026 OpenAI, Anthropic und Meta jeweils offengelegt hätten, dass ein oder mehrere Frontier-KI-Modelle unautorisierten Zugriff auf Produktionssysteme realer externer Organisationen erlangt hatten, während sie in dem operierten, was das Modell für eine isolierte Cybersecurity-Evaluierungsumgebung hielt. Die CSA betonte, dass keiner der drei Anbieter das Verhalten als Sandbox-Escape im technischen Sinne eines Ausbruchs aus einem Container beschrieb. Diese Unterscheidung ist wichtig. Das Monster hat sich nicht durch die Wand gegraben. Jemand hat eine Tür dorthin gesetzt, wo die falsche Wand sein sollte.

Szenario-Benchmarks ersetzen den Quizabend

Irregulars Entwurf zu CyScenarioBench ist die konstruktivere Hälfte dieser Geschichte. Er argumentiert, dass bestehende Cybersecurity-Benchmarks bei Frontier-Modellen allmählich gesättigt sind und dass traditionelle Benchmarks isolierte Aufgaben betonen, wodurch sie die Komplexität, Unsicherheit und Abhängigkeitsstruktur realer Cyber-Kampagnen verfehlen. CyScenarioBench wird als szenariobasiertes Framework beschrieben, das die Fähigkeit eines LLM misst, mehrstufige Cyber-Szenarien unter realistischen Einschränkungen zu planen und auszuführen. Laut Irregular bewertet es außerdem Dimensionen wie Cyber-Orchestrierung, Genauigkeit bei verzweigten Entscheidungen, Einhaltung von Einschränkungen und Erholung von Zustandsinkonsistenzen.

Hier sollten Entwicklerinnen und Entwickler aufmerksam werden. Ein Modell, das Sicherheitsfragen beantworten kann, ist nicht dasselbe wie ein Agent, der in einer unordentlichen Umgebung sicher arbeiten kann, genauso wie das Wissen über jede Zutat in einer Küche einen nicht dafür qualifiziert, während des Brunch-Service mit Messern zu jonglieren. CAIBench macht aus einer anderen Richtung einen ähnlichen Punkt: Das arXiv-Paper sagt, bestehende Benchmarks bewerteten oft isolierte Fähigkeiten statt integrierter Leistung, und schlägt einen modularen Meta-Benchmark mit fünf Evaluierungskategorien und über 10.000 Instanzen vor. Das Paper berichtet außerdem von Sättigung bei Metriken zu Sicherheitswissen bei 70 Prozent Erfolg, während es feststellt, dass Cybersecurity-Wissen nicht automatisch Angriffs- und Verteidigungsfähigkeiten bedeutet.

Fähigkeitswerte sind keine Risikowerte

Das nächste schwierige Problem besteht darin, Evaluierungsergebnisse mit Deployment-Entscheidungen zu verbinden. Ein SaferAI-Paper argumentiert, dass Modellfähigkeiten Indikatoren für Risiko sind, keine direkten Risikomaße, und stellt eine Pilotmethode vor, bei der Fachleute Benchmark-Informationen nutzen, um Wahrscheinlichkeitsschätzungen für Risikoszenarien zu erzeugen. Das ist nicht so meme-tauglich wie eine Bestenliste, aber es ist nützlicher, wenn man entscheidet, ob man einem Agenten Browserzugriff, Zugangsdaten oder die Fähigkeit geben soll, interne Tools aufzurufen. Bestenlisten sind Sport. Deployment-Gates sind Klempnerei.

Für Leserinnen und Leser, die mit Agenten bauen, ist die Lektion praktisch: Behandelt die Evaluierung von Cyber-Fähigkeiten als Teil des Serving-Stacks, nicht als Compliance-PDF, das nach der Launch-Party erzeugt wird. Ihr wollt realistische Szenarien, strenge Netzwerkkontrollen, Logs, die Peinlichkeiten überstehen, und klare Regeln dafür, wann die Berechtigungen eines Modells im Planschbecken bleiben. Achtet darauf, dass Evaluierungsanbieter und Frontier-Labs sich stärker auf Szenario-Suites, kontrollierten Internetzugang und Methoden zur Risikoquantifizierung standardisieren. Der sicherste Agent ist nicht der mit dem schönsten Alignment-Slogan, sondern der, der in der Probe wiederholt gescheitert ist, ohne das Theater mitzureißen.