Wie Angreifer KI- und ML-Systeme ausnutzen

Künstliche Intelligenz (KI) und Machine Learning (ML) sollen bisher unbekannte Cyberbedrohungen erkennen. Genau deshalb arbeiten Bedrohungsakteure mit Hochdruck daran, KI- und ML-Systeme zu täuschen oder auszunutzen.

Allheilmittel KI?

Da immer mehr Unternehmen Projekte im KI- und ML-Bereich initiieren, wird es immer wichtiger, diese Technologien entsprechend abzusichern. Ein von IBM und Morning Consult veröffentlichter Bericht besagt, dass 35 Prozent der weltweit 7.500 befragten Unternehmen bereits KI einsetzen. Das ist ein Plus von 13 Prozent gegenüber dem Vorjahr. Weitere 42 Prozent prüfen den Einsatz von KI. Dabei geben knapp 20 Prozent der Unternehmen zu, Schwierigkeiten zu haben, wenn es darum geht, die Daten abzusichern - und dass das die KI-Einführung verlangsame.

In einer weiteren Umfrage der Marktforscher von Gartner waren Sicherheitsbedenken ein wesentliches Hemmnis für die Einführung von KI. Dazu kommt die komplexe Integration der KI-Lösungen in bestehende Infrastrukturen. Einem aktuellen Microsoft-Whitepaper (PDF) zufolge fühlen sich 90 Prozent der Unternehmen nicht in der Lage, sich gegen ML-Taktiken von Cyberkriminellen zu verteidigen. Von 28 (großen und kleinen) Organisationen, verfügten 25 nicht über die Tools, die sie zur Sicherung ihrer ML-Systeme benötigen.

Auch wenn die Technologien und Taktiken es vermuten lassen, nutzen Cyberangreifer nicht wirklich maschinelles Lernen. Vielmehr wollen sie mit ihren Bemühungen erreichen, ML-Systeme anzugreifen und auszuhebeln. "Das sogenannte Adversarial Machine Learning nutzt Schwachstellen und Besonderheiten von ML-Modellen aus", erklärt Alexey Rubtsov, Senior Research Associate am Global Risk Institute und Professor an der Toronto Metropolitan University. Zum Beispiel manipulieren Cyberkriminelle ML-Algorithmen, damit diese falsche Entscheidungen treffen, falsche Empfehlungen geben und Auswertungen verfälschen.

Adversarial Machine Learning - Angriffsarten

Angriffe, die darauf abzielen, ML-Lösungen auszuhebeln, lassen sich in vier Kategorien einteilen:

1. Poisoning-Attacken

Bei einem Poisoning-Angriff manipuliert ein Cyberkrimineller den Datensatz, den die KI nutzt, um zu lernen. "Angenommen, Ihr Haus verfügt über eine KI-gestützte Überwachungskamera. Ein Angreifer könnte jeden Morgen um drei Uhr morgens an Ihrem Haus vorbeigehen und seinen Hund über Ihren Rasen laufen lassen, um das Sicherheitssystem auszulösen. Schließlich schalten Sie diese 3-Uhr-Warnungen aus, um nicht vom Hund geweckt zu werden. Letztendlich hat der Hundebesitzer Trainingsdaten darüber geliefert, dass das Ereignis um drei Uhr morgens harmlos ist. Wenn Ihr System dann darauf trainiert ist, alles zu ignorieren, was um diese Uhrzeit passiert, greifen die Einbrecher an", erklärt Rubtsov.

2. Evasion-Attacken

Bei einem Evasion-Angriff wurde das KI-Modell bereits trainiert, aber durch den Angriff wird die Eingabe leicht verändert. Rubtsov gibt ein Beispiel: "Kleben Sie auf ein Stoppschild einen Aufkleber und die Maschine interpretiert es als Vorfahrtzeichen anstelle eines Stoppschildes. In unserem Hunde-Beispiel könnte der Einbrecher ein Hundekostüm anziehen, um in Ihr Haus einzubrechen. Der Evasion-Angriff ist wie eine optische Täuschung für die Maschine."

3. Extraktionsangriffe

Bei einem Extraktionsangriff erstellt der Gegner eine Kopie Ihres KI-Systems. "Manchmal können die Angreifer das Modell extrahieren, indem sie einfach beobachten, mit welche Inputs Sie das Modell füttern und welche Outputs es liefert", so Rubtsov. "Sie stupsen das KI-Modell ihres Ziels an und beobachten dessen Reaktion. Wenn Sie das Modell oft genug triggern, können sie ihrer eigenen KI beibringen, sich genauso zu verhalten und so bei einem Angriff unerkannt bleiben."

Im Jahr 2019 wurde eine Schwachstelle im E-Mail-Schutzsystem von Proofpoint ausgenutzt. Die E-Mail-Lösung erstellte Header, die anzeigten, wie hoch die Wahrscheinlichkeit war, dass es sich bei der erhaltenen Nachricht um Spam handelt. Cyberkriminelle nutzten diese Bewertungen, um ihre KI-Systeme zu trainieren und eigene Phishing-Mails zu erstellen, die die Spam-Erkennung umgehen konnten.

Wenn ein Unternehmen ein kommerzielles KI-Produkt verwendet, können Kriminelle eine Kopie des Modells erhalten, indem sie es kaufen oder Dienste von anderen Hackern in Anspruch nehmen. Beispielsweise stehen Angreifern Plattformen zur Verfügung, auf denen sie ihre Malware gegen Antivirus-Engines testen können. Im Beispiel mit dem Hund könnte der Angreifer ein Fernglas bekommen, um zu sehen, welche Marke der Überwachungskamera Sie haben und die gleiche kaufen, um herauszufinden, wie man die KI manipuliert.

4. Inferenzangriffe

Bei einem Inferenzangriff finden die Angreifer heraus, welcher Trainingsdatensatz verwendet wurde, um ihr eigenes System zu trainieren und nutzen Schwachstellen oder Verzerrungen in den Daten aus. Der Gegner im Hunde-Beispiel könnte das Haus beobachten und herausfinden, wie der normale Verkehr in der Gegend aussieht. Er würde feststellen, dass es einen Spaziergänger gibt, der jeden Morgen um drei Uhr vorbeikommt und dass das KI-System gelernt hat, Menschen zu ignorieren, die um diese Uhrzeit mit ihren Hunden spazieren gehen.

Adversarial Machine Learning - Abwehrmaßnahmen

Rubtsov empfiehlt Unternehmen, sicherzustellen, dass ihre Trainingsdatensätze keine Verzerrungen enthalten und dass Angreifer die Daten nicht manipulieren können: "Einige Machine-Learning-Modelle verwenden Reinforcement Learning und lernen im Handumdrehen, wenn neue Daten eintreffen. In diesem Fall gilt es, behutsam mit neuen Daten umzugehen." Bei der Verwendung eines Drittanbietersystems empfiehlt der Analyst Unternehmen, ihre Anbieter direkt danach zu fragen, wie sie ihre Systeme vor Adversarial-Machine-Learning-Angriffen schützen.

Die meisten Angriffe auf normale Software können laut Gartner auch gegen KI angewendet werden. Andersherum können auch viele traditionelle Sicherheitsmaßnahmen zur Verteidigung von KI-Systemen eingesetzt werden. Beispielsweise können Lösungen, die Daten vor Zugriff oder Kompromittierung schützen, auch Trainingsdatensätze vor Manipulation schützen. Gartner empfiehlt Unternehmen, zusätzliche Schritte einzuleiten, um KI- und Machine-Learning-Systeme zu schützen. Um die Integrität von KI-Modellen sicherzustellen, sollten Unternehmen demnach zunächst vertrauenswürdige KI-Prinzipien anwenden und Validierungsprüfungen für KI-Modelle einsetzen. Zudem gibt es spezielle Technologien, die Data Posioning erkennen.

MITRE, bekannt für sein ATT&CK-Framework, hat sich mit Microsoft und elf anderen Organisationen zusammengetan, um ein Angriffs-Framework für KI-Systeme zu entwickeln. Das System heißt "Adversarial Threat Landscape for Artificial-Intelligence Systems (ATLAS)" und umfasst 12 Phasen von Angriffen auf ML-Systeme.

Darüber hinaus haben einige Anbieter damit begonnen, Tools auf den Markt zu bringen, mit denen Unternehmen ihre KI-Systeme sichern und sich gegen Adversarial Machine Learning verteidigen können. Im Mai 2021 veröffentlichte Microsoft Counterfit, ein auf KI-System-Sicherheitstests zugeschnittenes Open-Source-Automatisierungs-Tool. "Dieses Tool entstand aus unserem eigenen Bedürfnis heraus, die KI-Systeme von Microsoft auf Schwachstellen zu überprüfen", schreibt Will Pearce, Microsofts Red Team Lead für Azure Trustworthy ML, in einem Blogbeitrag.

"Counterfit begann als ein Korpus von Angriffsskripten, die speziell für einzelne KI-Modelle geschrieben wurden und verwandelte sich dann in ein generisches Automatisierungs-Tool, um mehrere KI-Systeme in großem Maßstab anzugreifen. Heute verwenden wir Counterfit routinemäßig als Teil unserer KI-Red-Team-Operationen." Das Tool sei nützlich, um Techniken im ATLAS-Angriffsframework von MITRE zu automatisieren, schreibt der Microsoft-Sicherheitsexperte. Es könne aber auch in der KI-Entwicklungsphase verwendet werden, um Schwachstellen in Systemen zu erkennen, bevor diese in die Produktion gehen.

Auch IBM verfügt über ein Open-Source-Tool zur Verteidigung gegen Adversarial Machine Learning namens "Adversarial Robustness Toolbox", das jetzt unter der Ägide der Linux Foundation läuft. Dieses Projekt unterstützt alle gängigen ML-Frameworks und umfasst 39 Angriffsmodule, die man in die vier oben genannten Angriffskategorien einteilen kann.

KI mit KI bekämpfen

"In Zukunft könnten Angreifer auch maschinelles Lernen nutzen, um Angriffe auf andere ML-Systeme zu starten", mutmaßt Murat Kantarcioglu, Professor für Informatik an der University of Texas. Eine neue Art von KI seien beispielsweise Generative Adversarial Systems. Diese werden am häufigsten verwendet, um Deep Fakes zu erstellen. Angreifer verwenden sie am häufigsten für Online-Betrügereien, aber das gleiche Prinzip kann auch dafür verwendet werden, nicht nachweisbare Malware zu erstellen.

"In einem Generative Adversarial Network wird ein Teil als Diskriminator und ein Teil als Generator bezeichnet und sie greifen sich gegenseitig an", erklärt Kantarcioglu. Zum Beispiel könnte eine Antivirus-KI versuchen herauszufinden, ob es sich um Malware handelt. Eine Malware-generierende KI könnte versuchen, Malware zu erstellen, die das erste System nicht abfangen kann. Indem die beiden Systeme wiederholt gegeneinander ausgespielt werden, könnte das Endergebnis Malware sein, die für niemanden zu erkennen ist. (ms)

Dieser Beitrag basiert auf einem Artikel unserer US-Schwesterpublikation CSO Online.