Nutzung sensibler Geschäftsdaten mit ChatGPT ist ein Risiko

Das Potenzial des KI-Chatbots ChatGPT sorgt immer wieder für Schlagzeilen. Sicherheitsexperten beschäftigen sich nun mit der Frage, ob die Nutzung sensibler Geschäftsdaten durch die KI ein Risiko für Unternehmen darstellt. Sie befürchten, dass sensible Informationen wie Quartalsberichte, Materialien für interne Präsentationen oder Verkaufszahlen anschließend frei verfügbar sein könnten, wenn die User diese dem KI-Chatbot mitteilen.

Nutzer konnten bereits ChatGT-Eingaben anderer User einsehen

Ein solcher Fall soll sich am 20. März ereignet haben: Zu diesem Zeitpunkt bemerkten User in ihrem Chat-Verlauf Schnipsel von Gesprächen, die sie nach eigenen Angaben nicht mit dem Chatbot geführt hatten. Sam Altman, CEO von OpenAI, bestätigte daraufhin diese Berichte: " Aufgrund eines Fehlers in einer Open-Source-Bibliothek hatten wir ein schwerwiegenderes Problem mit ChatGPT. Dadurch konnte ein kleiner Prozentsatz der Benutzer die Titel der Konversationshistorie anderer User sehen". Altman betonte jedoch, dass der "signifikante" Fehler inzwischen behoben worden sei.

"Dafür wurde ein Fix veröffentlicht. Zudem haben wir gerade eine Validierung abgeschlossen", so der OpenAI-Chef. Bei der Untersuchung stellte das Unternehmen fest, dass durch den Fehler möglicherweise zahlungsbezogene Informationen von 1,2 Prozent der ChatGPT-Plus-Abonnenten sichtbar waren.

Die Auswirkungen von Chatbots, die sich an Benutzereingaben erinnern und daraus lernen, könnten durchaus weitreichend sein: Stellen Sie sich vor, Sie arbeiten an einer internen Präsentation, die neue Unternehmensdaten enthält, die ein Problem aufdecken. Und dies soll in der nächsten Vorstandssitzung diskutiert werden. Eine Veröffentlichung dieser geschützten Informationen könnte den Aktienkurs und das Vertrauen der Kunden beeinträchtigen. Noch schlimmer wäre, wenn ein rechtlicher Tagesordnungspunkt durchgesickertund das Unternehmen in der Folge dafür haften muss.

Aber könnten solche Dinge tatsächlich passieren, nur weil einem Chatbot vertrauliche Informationen mitgeteilt werden? Dieses Problem untersuchte die Forschungsfirma Cyberhaven im Februar. Die Forscher konzentrierten sich dabei darauf, wie OpenAI die von Menschen eingegebenen Inhalte als Trainingsdaten zur Verbesserung von ChatGPT verwendet. Dabei sei der Output dem Input sehr ähnlich, so das Forschungsergebnis. Die Analysten schlossen daraus, dass eingegebene vertrauliche Daten an Dritte weitergegeben werden könnten, wenn bestimmte Fragen gestellt würden.

Lesetipp: Britische IT-Chefs fürchten Missbrauch von ChatGPT

ChatGPT speichert die Eingabedaten der Benutzer nicht - oder doch?

Das britische National Cyber Security Centre (NCSC) teilte im März weitere Erkenntnisse zu diesem Thema mit. Die Behörde erklärte, dass ChatGPT und andere große Sprachmodelle (LLMs) derzeit nicht automatisch Informationen aus Abfragen zu Modellen hinzufügen, die von anderen abgefragt werden können. Das bedeute, die Eingabe von Informationen in eine Abfrage führe nicht dazu, dass diese potenziell privaten Daten in das LLM aufgenommen werden. "Allerdings ist die Abfrage für die Organisation, die das LLM bereitstellt, sichtbar", schränkt das NCSC ein - im Fall von ChatGPT also für OpenAI.

Weiter führt die Behörde aus: "Diese Abfragen werden gespeichert und mit ziemlicher Sicherheit irgendwann für die Entwicklung des LLM-Dienstes oder -Modells verwendet. Dies könnte dazu führen, dass der LLM-Anbieter (oder seine Partner/Auftragnehmer) in der Lage sind, die Abfragen zu lesen und sie in irgendeiner Weise in zukünftige Versionen einzubauen." Eine weitere Gefahr sei, dass online gespeicherte Abfragen gehackt oder versehentlich öffentlich zugänglich gemacht werden. Das Risiko würde jedoch umso größer, je mehr Organisationen LLMs erstellen und verwenden würden.

Lesetipp: Security-Experten warnen vor neuer ChatGPT-Betrugsmasche

Risiken bei der Eingabe von sensiblen Daten in ChatGPT

Das Problem dabei ist, dass LLMsein Verhalten entwickeln, das als kontextbezogenes Lernen bezeichnet wird. Wenn das Modell während einer Sitzung Eingaben erhält, kann es so konditioniert werden, dass es Aufgaben auf der Grundlage des in diesen Eingaben enthaltenen Kontexts ausführt. "Dies ist wahrscheinlich das Phänomen", so Andy Patel, Senior Researcher bei WithSecure, gegenüber CSO, "auf das sich die Leute beziehen, wenn sie sich Sorgen über Informationsverluste machen. Es ist jedoch nicht möglich, dass Informationen aus der Sitzung eines Benutzers in die eines anderen übergehen."

Eine weitere Befürchtung ist, wie der Experte erklärt, dass die in die ChatGPT-Schnittstelle eingegebenen Eingabeaufforderungen gesammelt und in zukünftigen Trainingsdaten verwendet werden. Obwohl die Sorge berechtigt sei, dass Chatbots sensible Informationen aufnehmen und dann wieder ausgeben, müsste ein neues Modell trainiert werden, um diese Daten zu integrieren, führt Patel weiter aus: "Das Training von LLMs ist ein teures und langwieriges Verfahren."

Er rechnet nicht damit, dass in naher Zukunft ein Modell auf den von ChatGPT gesammelten Daten gebaut wird. Sollte dies dennoch geschehen, befürchtet Patel, dass es zu Angriffen auf die Mitgliedschaft kommen wird. Solche Angriffe haben das Potenzial, Kreditkartennummern oder persönliche Informationen, die in den Trainingsdaten enthalten waren, zu enthüllen.

Laut Patel wurden solche Angriffe bislang noch nicht nachgewiesen. Das bedeute, dass es äußerst unwahrscheinlich sei, dass künftige Modelle anfällig für Angriffe auf andere Nutzer sind. Allerdings räumt er ein, dass die Datenbank mit den gespeicherten Eingabeaufforderungen gehackt werden könnte.

Verknüpfungen von Drittanbietern mit KI könnten Daten preisgeben

Probleme können dagegen bei der Verwendung externer Anbieter auftreten, wenn diese nicht ausdrücklich garantieren, dass die Informationen zur Bearbeitung nicht weitergegeben werden. . Ihre Verwendung mit ansonsten sicheren Tools und Plattformen könnte alle privaten Daten gefährden, sagt Wicus Ross, Senior Security Researcher bei Orange Cyberdefense: "SaaS-Plattformen wie Slack und Microsoft Teams haben klare Daten- und Verarbeitungsgrenzen und ein geringes Risiko, dass Daten an Dritte weitergegeben werden." Diese klaren Grenzen könnten jedoch schnell verschwimmen, wenn die Dienste mit Add-ons oder Bots von Drittanbietern erweitert würden

Abgesehen davon, dass sensible Daten von normalen Nutzern weitergegeben werden, sollten sich Unternehmen auch über Prompt-Injection-Angriffe im Klaren sein. Diese können frühere Anweisungen erkennbar machen, die von Entwicklern beim Tuning des Tools gegeben wurden. Zudem können sie dazu führen, dass zuvor programmierte Anweisungen ignoriert werden, erklärt Neil Thacker, CISO von Netskope für EMEA, gegenüber CSO. "Jüngste Beispiele sind Twitter-Streiche, die das Verhalten des Bots ändern", so Thacker. Oder Probleme mit Bing Chat, bei denen Forscher einen Weg gefunden haben, ChatGPT dazu zu bringen, frühere Anweisungen zu offenbaren, die wahrscheinlich von Microsoft geschrieben wurden und verborgen bleiben sollten.

Kontrollieren Sie, welche Daten an ChatGPT übermittelt werden

Sensible Daten machen derzeit elf Prozent der von Mitarbeitern in ChatGPT eingegebenen Daten aus. Laut Cyberhaven gibt ein durchschnittliches Unternehmen jede Woche Hunderte von sensiblen Daten an ChatGPT weiter. "ChatGPT bewegt sich vom Hype in die reale Welt", betont CISO Thacker, " Unternehmen experimentieren mit der praktischen Umsetzung, um ihre anderen ML/AI-basierten Tools zu ergänzen." Deshalb sollten Unternehmen eine gewisse Vorsicht walten lassen, wenn es um die Weitergabe vertraulicher Informationen geht, rät der Experte..

Letztlich liegt es in der Verantwortung eines Unternehmens, dafür zu sorgen, dass seine Nutzer genau wissen, welche Informationen an ChatGPT weitergegeben werden dürfen und welche nicht. Unternehmen sollten sehr sorgfältig mit den Daten umgehen, die sie in Eingabeaufforderungen übermitteln, empfiehlt die britische NCSC: "Sie sollten sicherstellen, dass diejenigen, die mit LLMs experimentieren wollen, dies tun können, aber auf eine Weise, die die Unternehmensdaten nicht gefährden."

Warnen Sie Ihre Mitarbeiter vor den potenziellen Gefahren von Chatbots

Die Identifizierung und Kontrolle der Daten, die Mitarbeiter an ChatGPT übermitteln, ist jedoch nicht unproblematisch, warnt Cyberhaven. "Wenn Mitarbeiter Unternehmensdaten in ChatGPT eingeben, laden sie keine Datei hoch, sondern kopieren Inhalte in ihren Webbrowser", erklären die Forscher, "viele Sicherheitsprodukte sind jedoch so konzipiert, dass sie zwar das Hochladen von Dateien (die als vertraulich gekennzeichnet sind) verhindern, aber nicht erkennen, wenn der Inhalt einer kopiert wird."

Hinzu komme, dass Unternehmensdaten, die an ChatGPT gehen, oft kein erkennbares Muster enthalten würden, nach dem Sicherheitstools suchen. Ohne mehr über den Kontext zu wissen, könnten Sicherheitstools heute nicht unterscheiden, ob jemand den Speiseplan der Cafeteria oder die M&A-Pläne eines Unternehmens eingibt.

Um die Transparenz zu verbessern, sollten Unternehmen Richtlinien für ihre Secure Web Gateways (SWG) implementieren. Dadurch könnten sie die Verwendung von KI-Tools identifizieren und Richtlinien zur Vermeidung von Datenverlusten (DLP) anwenden. Auf diese Weise können sie erkennen, welche Daten an diese Tools übermittelt werden, so Thacker. (jm)

Dieser Beitrag basiert auf einem Artikel unserer US-Schwesterpublikation CSO Online.

Lesetipp: Missbrauch von ChatGPT - Hacker versuchen OpenAI-Beschränkungen zu umgehen