AI Security und Compliance, warum ihr jetzt starten solltet

KI, insbesondere GenAI, ist derzeit ein zentrales Thema in der IT-Branche. Unabhängig davon, wie man diesen Hype bewertet, wird GenAI, zunehmend in den verschiedensten Unternehmen zum Einsatz kommen.

Was wissen wir aus Security- und Compliance-Perspektive zu diesem Thema und worauf sollte man sich jetzt schon konzentrieren?

Zunächst einmal die vielleicht etwas banale Feststellung, dass eine spezifische KI - sowohl Machine Learning als auch GenAI - zuerst einmal eine IT-Anwendung ist, die im Wesentlichen auf Standardtechnologien und -stacks aufbaut. Und daher ist es sicher nicht falsch, seine Standard-Security- und Information-Security-Methoden auf diese neuen Softwareartefakte anzuwenden.

Aber das Spannende ist natürlich genau das Delta. Was ist neu, worauf müssen wir uns einstellen und welche neuen Maßnahmen, Methoden und Tools sind vielleicht sinnvoll?

„Neues“ aus Sicht der KI-Sicherheit

Ein wesentlicher Unterschied in Bezug auf KI-Sicherheit besteht darin, dass wir die klassische Dichotomie „OK / Not OK“ nur sehr begrenzt aufrechterhalten können. Beispiele für diese Dichotomie sind Berechtigungen, Anmeldevorgänge, Eingabevalidierung, Netzwerkfilter etc. Eine KI arbeitet jedoch mit Wahrscheinlichkeiten, so dass die letztendliche Aussage, ob ein Ergebnis korrekt ist, eben nicht exakt bewertet werden kann. Wir begeben uns sozusagen teilweise auf eine semantische Ebene, die wir bisher nur sehr eingeschränkt - beispielsweise über zulässige Wertebereiche - adressiert haben.

Unabhängig von diesem qualitativen Unterschied gibt es auch eine Reihe neuartiger Angriffe und Schwachstellen bei KI-Lösungen. Ohne Anspruch auf Vollständigkeit sollen hier einige Beispiele genannt werden:

• Prompt-Injection: Eine generative KI wird durch geschickte Eingaben dazu gebracht, beispielsweise vertrauliche Daten preiszugeben.
• Poisoining-Angriffe: Durch manipulierte Eingaben Sicherheit, Qualität oder ethische Grundsätze auszuhebeln.
• Modelldiebstahl: Durch das „Nachbauen“ eines Modells durch sehr viele Anfragen oder durch direkten Zugriff auf das Modell oder die Trainingsdaten.
• Model Denial of Service: Ähnlich dem klassischen Denial of Service, die KI durch viele oder gezielt komplexe Anfragen zu blockieren.

Hier gilt „Gefahr erkannt, Gefahr gebannt“, betrachtet man diese möglichen Angriffe und Schwachstellen bereits beim Design, kann man die Sicherheit von KI-Anwendungen deutlich erhöhen.

Auch für die Gewährleistung der operativen Sicherheit gibt es bereits zusätzliche Tools (wie zum Beispiel das LLM-Gateway), die sehr hilfreich bei der Eingrenzung möglicher Missbräuche sein können, die aber zum Teil wiederum auf KI-Modellen basieren.

Neues aus der „KI-Compliance“-Ecke

In Europa ist bereits seit einiger Zeit der AI-Act in Kraft. Dieser regelt den Einsatz von KI ähnlich wie die Regelungen zum Datenschutz (GDPR, DSGVO). Es werden zum Beispiel Risikoklassen definiert, die jeweils einen Einsatz erlauben, aber an definierte zusätzliche Maßnahmen knüpfen. Derzeit sind beispielsweise KI-Lösungen für Social Scoring oder die Fernidentifikation von Personen kaum realisierbar.

Es bleibt zwar noch ein wenig abzuwarten, wie die gesetzlichen Vorgaben genau zu interpretieren sind bzw. wie diese ggf. in einem Audit ausgelegt werden, aber die grobe Richtung ist bereits klar erkennbar. Neben klassischen Anforderungen wie Qualitäts- und Risikomanagement kommen eher neue Themen wie „Nachvollziehbarkeit“ (keine leichte Aufgabe für KI-Fachleute) oder Transparenzpflichten gegenüber Betroffenen ( zum Beispiel Verwendung ihrer Daten, Einsatz von KI) auf den Tisch.

Mit der ISO 42001 gibt es auch bereits eine erste Standardisierung für ein KI-Managementsystem, die sich an bereits bekannten Standards wie der ISO 27001 orientiert.

Was kann ich denn heute bereits tun?

Für die technische Seite bieten sich unmittelbar KI-spezifische Threat-Modeling-Ansätze an, die mögliche Schwachstellen und Angriffsszenarien bereits im Design adressieren. Darüber hinaus gibt es in Anlehnung an DevSecOps-Ansätze bereits konkrete Ausgestaltungen entsprechender Prozesse wie ML SecOps, die das Thema Sicherheit bereits in der Entwicklung verankern.

Für regulatorische Aspekte ist es sehr sinnvoll, KI-Lösungen direkt in das Asset- und Risikomanagement zu integrieren und entsprechend den regulatorischen Anforderungen neue Anforderungen zu beschreiben, umzusetzen und zu überwachen.

Fazit

Der Einsatz von KI, sei es generative KI oder maschinelles Lernen, bringt definitiv neue Aspekte in Bezug auf Sicherheit und Compliance mit sich. Ohne behaupten zu wollen, dass alle relevanten Aspekte vollständig verstanden oder definiert sind, ist Abwarten keine Option. Aus Erfahrung wissen wir sehr gut, dass Security und Compliance als „Nachdenken im Nachhinein“ keine gute Idee ist. Nach wie vor gilt: Security und Informationssicherheit sind Prozesse, das heißt, es ist viel einfacher, etwas technisch und organisatorisch zu verfeinern, als diese Themen nachträglich in eine vielleicht wenig kontrollierte Umgebung zu integrieren. Das Motto lautet also: "Act now!"

Ihr möchtet gern mehr über Security-Themen bei adesso erfahren und wissen, mit welchen Services wir Unternehmen unterstützen? Dann werft doch einen Blick auf unsere Website.

Weitere spannende Themen aus der adesso-Welt findet ihr in unseren bisher erschienen Blog-Beiträgen.