Interview zu generativer KI in der Cybersicherheit: „Die Chancen überwiegen“

Das vom Bundesministerium für Bildung und Forschung (BMBF) geförderte Projekt AIgenCY vereint Forschende des Fraunhofer-Instituts für Angewandte und Integrierte Sicherheit AISEC, des CISPA Helmholtz-Zentrums für Informationssicherheit, der Technischen Universität Berlin und der Freien Universität Berlin. Das deutsche KI-Unternehmen Aleph Alpha ist Kooperationspartner. Das gemeinsame Ziel besteht darin, die komplexen Auswirkungen generativer KI auf die Cybersicherheit zu erforschen. Im Interview erklärt Prof. Dr. Claudia Eckert, was die jüngsten Fortschritte in generativer KI für die Cybersicherheit bedeuten. Die Expertin für Informatik und IT-Sicherheit leitet das Fraunhofer-Institut AISEC, welches das Forschungsprojekt AIgenCY koordiniert. 

Frau Prof. Eckert, am 30. November ist der internationale Tag der Computersicherheit, außerdem wurde ChatGPT vor genau zwei Jahren veröffentlicht. Ganz generell gesprochen: Was bedeutet generative KI für die Sicherheit digitaler Systeme?

Die Bedeutung generativer KI im Bereich IT-Sicherheit war bereits vor der Veröffentlichung von ChatGPT abzusehen. Einer der zugrunde liegenden Bausteine – die Transformer-Architektur – wurde bereits 2017 veröffentlicht. Das Fraunhofer AISEC gestaltet deshalb bereits seit über zehn Jahren die Entwicklung des Forschungsgebietes aktiv mit.

Generative KI birgt wie jede neue Technologie Risiken. Wir gehen derzeit jedoch davon aus, dass für die IT-Sicherheit die Chancen überwiegen. Wir wollen mit generativer KI zum Beispiel Werkzeuge entwickeln, um Technologien zur Abwehr von Cyberattacken skalieren zu können. Noch herrscht hier ein Ungleichgewicht, das wir mit Hilfe generativer KI ausgleichen wollen: Während dem Angreifenden nur eine einzige Schwachstelle im System ausreicht, muss die Gegenseite dafür sorgen, dass die Systeme umfassend abgesichert sind, bis hin zum schwächsten Glied in der Kette.

Inwiefern ist das auch im weiteren Sinne für Wirtschaft und Gesellschaft relevant?

Der Wirtschaftsschaden durch Sicherheitsvorfälle ist signifikant gestiegen: Laut einer von Bitkom im August dieses Jahres veröffentlichten Studie meldeten 81 Prozent der Unternehmen Vorfälle, in denen sie von Datendiebstahl, Spionage oder Sabotage betroffen waren. Weitere zehn Prozent vermuten es. Der geschätzte Schaden belief sich allein in Deutschland in einem Zeitraum über zwölf Monate betrachtet auf rund 267 Milliarden Euro. Ein Rekordwert. Eine Technologie, die dazu beiträgt, die Resilienz von Unternehmen gegen Cyberattacken zu stärken – und richtig genutzt ist die generative KI eine solche – hätte unmittelbare positive Auswirkungen auf Wirtschaft und Gesellschaft.

Welche Rolle spielen diese Aspekte bei Ihrem Projekt AIgenCY?

Im Projekt AIgenCY untersuchen wir die Chancen und Risiken generativer KI in der IT-Sicherheit. Dies umfasst zunächst die Identifikation und dann auch die quantitative Bewertung der möglichen Risiken. Auch wenn die KI-Entwicklung derzeit rasant voranschreitet und vieles noch ungeklärt ist, so können wir doch bereits Trends erkennen und abschätzen, inwiefern sich diese auf die IT-Sicherheit auswirken.

Was genau will das Projekt AIgenCY bewirken, welche Ziele verfolgt es?

Ziel ist es, ein besseres Verständnis über aktuelle Trends zu gewinnen und die Implikationen generativer KI für die Cybersicherheit zu erforschen. Als Fraunhofer AISEC bringen wir unsere jahrelange Expertise ein und analysieren, inwiefern der Einsatz von generativer KI innerhalb der IT-Sicherheit zu neuen Ansätzen führen kann, oder ob der Effekt eher gering bleibt. Beispielsweise sehen wir einen großen Einfluss generativer KI im Bereich Social Engineering durch Deepfakes, um Phishing-Angriffe noch professioneller und gezielter durchzuführen oder aber auch um Ransomware-Angriffe automatisiert zu generieren. Andererseits sind zum Beispiel aktuelle Verschlüsselungstechnologien zumindest nach heutigem Stand relativ unberührt von der aktuellen KI-Entwicklung.

Wo stehen Sie aktuell in Ihrem Projekt, welche Erkenntnisse konnten Sie bereits gewinnen?

Nach einem Jahr Projektlaufzeit konnten wir bereits wesentliche Vorarbeiten leisten. Die Haupterkenntnis: Eine Vollautomatisierung ist meistens nicht möglich, sodass der Faktor Mensch auch weiterhin zentral bleiben wird.

Ein genaues Bild können Sie sich im März 2025 in Berlin machen: Das Bundesministerium für Bildung und Forschung veranstaltet dort vom 17. bis 19. März 2025 die Nationale Konferenz IT-Sicherheitsforschung. Wir sind mit mehreren Vorträgen und einer Podiumsdiskussion beteiligt.

Sie planen, ein Experimentierlabor einzurichten. Wie hat man sich dieses Labor vorzustellen und an wen richtet es sich?

Das Labor ist notwendig, um Angriffsszenarien und Konzepte zur Erhöhung der Robustheit von Systemen gegen Angriffe in realistischen Szenarien untersuchen und erproben zu können. Gerade bei aktuellen KI-Modellen sind wir auf spezialisierte, leistungsfähige Hardware angewiesen. Das Labor wird den Forschenden die Möglichkeit geben, auch größere und aktuelle Modelle zu analysieren, ohne dabei auf Cloud-Provider angewiesen zu sein. Auch werden wir die Modelle unter unserer Kontrolle trainieren und ausführen, sodass keine unerwünschten Datenabflüsse auftreten können.

Welche Herausforderungen gibt es bei AIgenCY, und wie gehen Sie diese an?

Die größte Herausforderung ist die Geschwindigkeit, mit der sich die Forschung an der Schnittstelle zwischen KI und IT-Sicherheit entwickelt. Dies birgt aber auch Chancen, da wir das Feld aktiv mitgestalten können.

Sowohl die Cybersicherheit als auch das Feld der generativen KI sind für sich allein große Forschungsbereiche mit unzähligen individuellen Fragestellungen. Unsere Aufgabe in diesem Projekt ist es, Überschneidungen und Transfermöglichkeiten zu identifizieren und entsprechend zu adressieren. Dabei benötigt man Wissen aus beiden Bereichen, also der generativen KI und der Cybersicherheit. Wir gehen diese Aufgabe mit einem breit aufgestellten Team und vielen unterschiedlichen Perspektiven an. Das zeigt nicht zuletzt auch das am Projekt beteiligte Konsortium.

Wie könnten die Erkenntnisse aus AIgenCY die Cybersicherheitslandschaft langfristig verändern?

Gerade zu Beginn einer Technologieentwicklung können Erkenntnisse und Ergebnisse großen Einfluss auf den weiteren Verlauf haben. Mit AIgenCY sind wir von Beginn an der Entwicklung dieser neuen Technologie beteiligt.

Generative KI hat die Cybersicherheitslandschaft schon jetzt verändert. Sehen wir uns den Bereich der Software-Entwicklung an. Hier beobachten wir, dass vermehrt generative KI, in diesem Fall Large Language Models (LLM), genutzt werden, um Source-Code zu erstellen. Dabei ist in vielen Fällen unklar, ob der generierte Code Schwachstellen enthält. Unser Projekt soll genau solche Anwendungsfälle betrachten und Lösungen erforschen, die das Potential der generativen KI zur Verbesserung der Cybersicherheit heben – in diesem Fall die Nutzung generativer KI, um Schwachstellen in Programmcode zu detektieren beziehungsweise die Entwicklung von sicherem Code zu unterstützen.

Wir danken für das Gespräch und die spannenden Einblicke.