AnoDetect

Verbesserte Security für Data-Science-Anwendungen

Föderiert trainierte KI-Modelle werden zur Erkennung von Sicherheitsproblemen in Web-Infrastrukturen eingesetzt.© Adobe Stock/WrightStudio

Motivation

Daten spielen für Unternehmen eine immer wichtigere Rolle. Mit zunehmender Verfügbarkeit immer größerer Datenmengen und immer mächtigerer Auswertungs- und Vorhersageverfahren werden kritische Entscheidungen immer häufiger datenbasiert getroffen, oft sogar vollautomatisiert. Aufgrund ihrer zentralen Bedeutung sind Datenströme, Datenspeicher und Programme, die diese Daten beispielsweise unter Einsatz von künstlicher Intelligenz (KI) nutzen und analysieren, lohnenswerte Ziele für Angreifer. Neben klassischen Attacken, die nur den Zugriff auf geheime Daten zum Ziel haben, gibt es mittlerweile auch Angriffe auf datengetriebene Verfahren bei denen Analysen und KI-Ergebnisse manipuliert werden. Solche Angriffe sind extrem schwer zu erkennen, da die betroffenen Systeme sich in vielerlei Hinsicht scheinbar normal verhalten. In Wirklichkeit kommt es jedoch zu vom Angreifer verursachten Abweichungen. Im Vorhaben AnoDetect werden Methoden erforscht und entwickelt, um solche Angriffe rechtzeitig zu erkennen und zu unterbinden.

Ziele und Vorgehen

Dazu werden in AnoDetect modernste Methoden der KI-basierten Anomaliedetektion erforscht, die sowohl vor Angriffen zwecks Datenzugriff schützen, als auch Manipulationen in Programmcodes oder in KI-Systemen erkennen sollen. Im Vorhaben wird ein verteiltes Softwaresystem entwickelt und auf ausgewählten Services zur Datenhaltung und -verarbeitung implementiert. Mit diesem Softwaresystem können letztlich Daten, die unter Verdacht stehen Anomalien aufzuweisen, analysiert werden – und das ohne Störung der zu überwachenden Anwendung. Zur Entwicklung der KI-Methodik für die Anomaliedetektion werden verschiedene aktuelle Verfahren evaluiert und ihre Anwendbarkeit im Data-Science-Bereich erforscht. Gemeinsam mit ersten Anwendungspartnern sollen Daten zum Anlernen der KI-Systeme erhoben werden. Mit diesen Daten kann ein Basismodell zur Anomaliedetektion erstellt werden, das sich im späteren Praxisbetrieb weiterhin kontinuierlich anpasst und selbst gegen gezielte Angriffe auf das Modell selbst robust sein.

Innovationen und Perspektiven

Geplante Anwendungspartner sind Unternehmen, die Data Science im Kontext geschäftskritischer Prozesse, kritischer Entscheidungen, für automatisierte Handlungsableitung und/oder unter Einbezug sensibler Daten etabliert haben. Für diese Unternehmen besteht massives Schadenspotenzial und eine kritische Abhängigkeit von Datenanwendungen; entsprechend hoch ist der Handlungsdruck. Der Markteintritt soll im ersten Schritt in deutschen Unternehmen mit etablierten Data-Science-Abteilungen erfolgen. Im Verlauf gehören auch Unternehmen zur Zielgruppe, die bis dato aufgrund von Sicherheitsbedenken und bisher nicht vorhandenen Security-Lösungen keine Anwendungen für geschäftskritische Prozesse oder erfolgsversprechende Anwendungen mit sensiblen Daten implementiert haben.


Zuwendungsbescheid