Wie Cybergangster Generative AI nutzen

Generative KI erlebt derzeit aufgrund der Popularität von ChatGPT ihren Durchbruch. Large Language Models (LLM) wie GPT-4 sind grundsätzlich in der Lage, kreative Prozesse zu automatisieren und zu beschleunigen. Das wissen leider auch die Cyberkriminellen, wie Europol in dem Bericht "ChatGPT - The impact of Large Language Models on Law Enforcement" (PDF) feststellt. In ihrem Innovation Lab hat die europäische Polzeibehörde eine Reihe von Workshops mit Fachexperten veranstaltet, um herauszufinden, wie LLMs - in diesem Falle ChatGPT auf der Basis von GPT-3.5 - missbraucht werden können.

Was kann ChatGPT?

Viele Leserinnen und Leser dürften ChatGPT inzwischen ausprobiert haben. Zusammengefasst ist der Bot in der Lage, nach Eingabe einer Benutzeranweisung (Prompt) Texte in nahezu perfekter Sprache zu erzeugen. Das Modell kann Fragen zu jedem Thema beantworten, Texte übersetzen und zusammenfassen oder sich an Chats beteiligen und dabei auch auf die Stimmungen der Teilnehmer eingehen. Darüber hinaus ist ChatGPT in der Lage, Code in den gängigsten Programmiersprachen (Python, Java, C++, JavaScript, PHP, Ruby, HTML, CSS, SQL) zu erstellen und zu verbessern.

Der Bot versteht also menschliche Eingaben, berücksichtigt ihren Kontext und produziert meistens brauchbare Antworten. Im März 2023 veröffentlichte OpenAI sein neuestes Modell GPT-4, das Abonnenten von ChatGPT Plus inzwischen für 20 Dollar im Monat nutzen können. Es ist in der Lage, auch deutlich komplexere Aufgaben zu bearbeiten. Zudem bietet GPT-4 eine taugliche API-Integration und kann Bilder und Videos als Input verarbeiten, klassifizieren und analysieren. Neue Versionen mit noch mehr Funktionen und Fähigkeiten dürften bald folgen.

???? New #TechWatch flash report: “ChatGPT - the impact of Large Language Models on Law Enforcement.”

?? The report provides an overview on the potential criminal misuse of LLMs and discusses the impact they might have on law enforcement.

Read it here ??https://t.co/M8X8EQis26 pic.twitter.com/8ZZoiLsdzX

— Europol (@Europol) March 27, 2023

Welchen Einschränkungen unterliegt ChatGPT?

Der größte Teil der Daten, anhand derer ChatGPT trainiert wurde, stammt vom September 2021 oder davor. Alles was danach online gestellt wurde, wird nicht mehr berücksichtigt. Zudem enthalten die Antworten, die auf der Grundlage dieser Daten erstellt werden, keine Hinweise darauf, woher die Informationen stammen. Die Informationen können also falsch oder verzerrt sein (Bias). Laut Europol zeichnet sich ChatGPT auch dadurch aus, dass es Antworten liefert, die plausibel klingen, aber nicht immer präzise sind. Das liege daran, dass der Bot nicht die menschliche Sprache selbst versteht, sondern lediglich ihre Muster und Strukturen - und das auf der Grundlage riesiger Textmengen, mit denen das Modell trainiert wurde.

Ein zentrales Problem betrifft die Eingabe selbst: Die genaue Formulierung des Prompt ist die Voraussetzung dafür, korrekte Antworten zu erhalten. Schon kleine Änderungen in der Abfrage führen zu abweichenden Antworten. Nachteilig ist auch, dass sich ChatGPT bei mehrdeutigen Aufforderungen so verhält, als wüsste es, was der Benutzer will und kenne die richtige Antwort - anstatt Rückfragen nach genaueren Erläuterungen zu stellen.

Prompt Engineering kann gegen ChatGPT verwendet werden

OpenAI hat in ChatGPT eine Reihe von Sicherheitsfunktionen eingebaut, um eine böswillige Nutzung des Modells zu verhindern. Texteingaben werden danach gefiltert, ob ihr Inhalt von Hass und Gewalt geprägt oder sexuell anstößig ist. In diesem Fall antwortet ChatGPT nicht oder nur eingeschränkt. Laut Europol können diese Sicherheitsvorkehrungen allerdings recht einfach durch geschicktes Prompt Engineering umgangen werden.

Prompt Engineering ist eine junge Disziplin zum Verarbeiten natürlicher Sprache. Es geht darum, die Art und Weise, wie eine Frage gestellt wird, zu verfeinern und zu perfektionieren, um vom KI-System optimale Ergebnisse zu bekommen. Prompt-Engineering hilft also, KI-Tools optimal zu nutzen. Doch es kann eben auch missbräuchlich verwendet werden, indem es Straftäter dabei unterstützt, die von OpenAI festgelegten Moderationsregeln auszuhebeln und schädliche Inhalte zu produzieren.

LLMs befinden sich noch in einem frühen Entwicklungsstadium. Mit immer neuen Updates versuchen die Anbieter die vielem Schlupflöcher zu schließen. Andererseits sind die Modelle so komplex, dass es wohl immer Umgehungsmöglichkeiten geben dürfte. Beispielsweise gab es die Eingabeaufforderung "Do Anything Now" (DAN), die dazu diente, die Sicherheitsvorkehrungen von OpenAI zu umgehen und ChatGPT dazu zu bringen, ungefiltert auf Eingaben zu reagieren - also auch auf solche schädlicher Natur.

Zwar hat OpenAI dieses Schlupfloch schnell geschlossen, doch in der Folge sind neue, immer komplexere Versionen von DAN aufgetaucht, die alle darauf ausgelegt sind, Jailbreak-Aufforderungen zum Erfolg zu führen und die im Modell eingebauten Sicherheitsmechanismen zu umgehen.

GPT-4 ist kaum sicherer als GPT-3.5

Mit der Freigabe von GPT-4 hatte OpenAI nicht nur vor, die Funktionalität von ChatGPT zu verbessern, man wollte auch die Wahrscheinlichkeit verringern, dass das Modell schädliche Ergebnisse produziert. Das war auch nötig: In den Workshops von Europol wurden jede Menge kriminelle Anwendungsfälle in GPT-3.5 ermittelt, und eine anschließende Überprüfung von GPT-4 zeigte, dass alle diese Fälle weiterhin funktionstüchtig waren. Manchmal waren die Missbrauchsmöglichkeiten sogar noch weiter fortgeschritten.

Ein großes Problem, das Generative AI mit sich bringt, ist die Tatsache, dass die Zugangsbarriere für Cyberkriminelle laufend sinkt. Wenn ein Krimineller beispielsweise wenig über eine bestimmte Art von Verbrechen weiß, kann er mit ChatGPT den Rechercheprozess erheblich beschleunigen, indem er Schlüsselinformationen abfragt und diese dann in weiteren Prompts im Detail untersucht.

So kann ChatGPT laut Europol dazu verwendet werden, ohne große Vorkenntnisse kriminelles Wissen aufzubauen - nicht nur über Cyberkrimnialität, sondern auch über Hauseinbrüche, Kindesmissbrauch oder Terrorismus. Sicher, die grundlegenden Informationen, die ChatGPT anbietet, sind alle in irgendeiner Form im Internet frei verfügbar. Aber die Möglichkeit, sich gezielt und kontextbezogene vorzuarbeiten, macht es für böswillige Akteure einfacher, Straftaten zu erlernen und auszuführen.

Nützliches Werkzeug für Phishing-Angriffe

Die Fähigkeit von ChatGPT, sehr schnell authentisch wirkende Texte zu verfassen, macht es zu einem nützlichen Werkzeug für Phishing-Betrüger. Während viele einfache Angriffe bislang aufgrund offensichtlicher Grammatik- und Rechtschreibfehler leicht zu erkennen waren, können sich Angreifer nun auch mit geringen Englisch- oder Deutschkenntnissen als glaubwürdige Personen oder Organisationen ausgeben.

Phishing-Mails lassen sich zudem leicht an bestimmte Kontexte anpassen. Angreifer brauchen kein Fachwissen mehr, um ihre betrügerischen Investitionsvorschläge, ihre gefälschten Geschäfts-E-Mails oder ihren CEO-Betrug zu platzieren. ChatGPT bietet also den Kriminellen ganz neue Perspektiven beim Social Engineering - auch weil es in der Lage ist, auf Nachrichten im Kontext zu reagieren und einen bestimmten Schreibstil nachzuahmen. Auch in den sozialen Medien haben Betrüger leichteres Spiel: Mit ChatGPT können etwa gefälschte Dialoge platziert werden, um Begeisterung für ein betrügerisches Investitionsangebot zu wecken. Auch für die verschiedenen Spielarten von Propaganda und Desinformation eignet sich ChatGPT hervorragend. Authentisch klingende Texte lassen sich in hoher Geschwindigkeit und Skalierung erzeugen und verbreiten.