Warum das Thema gerade jetzt brisant ist
KI Systeme werden zunehmend in Alltagsprozesse eingebunden: Recherchen, Zusammenfassungen, E Mail Entwürfe, Dokumentenanalysen, Support Workflows. Genau dadurch entsteht eine neue Angriffsfläche: Nicht nur die Nutzer Eingabe zählt, sondern auch Inhalte aus dem Web, aus Dokumenten, aus Kommentaren oder aus integrierten Tools. Tenable beschreibt in diesem Kontext mehrere Angriffspfade, bei denen Angreifer ChatGPT über versteckte Anweisungen zu unerwünschten Aktionen bringen können, inklusive Datenabfluss aus Chats, verbundenen Diensten oder gespeicherten Erinnerungen.
Was ist Prompt Injection und was bedeutet indirekt
Bei Prompt Injection versuchen Angreifer, die Anweisungen an ein Sprachmodell so zu manipulieren, dass Schutzregeln umgangen werden. Indirekte Prompt Injection ist dabei besonders heimtückisch: Die schädliche Anweisung steckt nicht in Ihrer Frage, sondern in einem externen Inhalt, den das Modell verarbeitet, zum Beispiel in einer Webseite, einem Kommentar, einer Datei oder in einem eingebetteten Textblock.
Die 7 Wege, wie Angreifer ChatGPT manipulieren können
Im Kern lassen sich die von Tenable beschriebenen Pfade praxisnah so zusammenfassen.
- Indirect Prompt Injection über scheinbar vertrauenswürdige Webseiten
Angreifer verstecken Anweisungen in legitimen Inhalten, die beim Lesen oder Zusammenfassen ausgeführt werden. - Indirect Prompt Injection ohne Klick im Suchkontext
Schon eine einzige Anfrage kann reichen, wenn das Modell bei der Recherche auf präparierte Inhalte stößt. - 1 Klick Prompt Injection über manipulierte Links
Ein Link kann so gebaut sein, dass beim Öffnen direkt ein bösartiger Prompt übergeben wird. - Umgehung von Sicherheitsmechanismen über Wrapper URLs
Weiterleitungen oder Wrapper Links können das eigentliche Ziel verschleiern und Schutzprüfungen aushebeln. - Conversation Injection
Inhalte aus einem Such oder Tool Kontext können später in die Konversation zurückfließen und dort wie echte Nutzeranweisungen wirken. - Verbergen bösartiger Inhalte über Formatierungs Tricks
Schädliche Instruktionen können in Code Blöcken oder Markup so versteckt werden, dass Menschen sie kaum sehen, das Modell aber schon. - Persistent Memory Injection
Wenn Speicherfunktionen genutzt werden, können Angreifer Anweisungen so platzieren, dass sie über mehrere Sitzungen wirken, bis Speicher oder Verlauf bereinigt wird.
Was das für Unternehmen bedeutet: Das Risiko ist nicht nur theoretisch
Sobald KI mit Browser Funktion, Datei Uploads, Wissensdatenbanken oder Connectoren zu Mail und Drive genutzt wird, kann ein einzelner manipulierter Inhalt zum Hebel werden. Deshalb führt OWASP Prompt Injection als zentrales Risiko für LLM Anwendungen und empfiehlt explizit, Eingaben aus untrusted Quellen als potenziell bösartig zu behandeln und die Auswirkungen durch technische und organisatorische Kontrollen zu begrenzen.
Schutzmaßnahmen, die sofort Wirkung bringen
Für Privatpersonen und Teams, die ChatGPT nutzen
Kontext streng halten: Keine Passwörter, API Keys, internen Kundenlisten oder vertrauliche Vorfälle in Chats verarbeiten.
Speicher bewusst managen: Memory nur aktivieren, wenn es wirklich nötig ist, und regelmäßig prüfen.
Links und Quellen skeptisch behandeln: Besonders bei Weiterleitungen, Wrapper Links und ungewöhnlichen Parametern.
Berechtigungen minimieren: Verbundene Dienste nur dann verbinden, wenn es einen klaren Zweck gibt, und Berechtigungen klein halten.
Für Organisationen, die KI Systeme produktiv einsetzen
Tool Isolation und Permission Design: Konnektoren, Browsing und Speicher strikt trennen und nach Least Privilege freigeben.
Prompt Firewall Prinzip: Untrusted Inhalte markieren, Anweisungen aus externen Quellen nicht als System oder Entwickler Instruktionen interpretieren lassen.
Datenabfluss verhindern: DLP Regeln, Secrets Redaction, Logging, und klare Policies für sensible Inhalte.
Security Testing: Red Teaming gegen Prompt Injection, inklusive indirekter Pfade über Webseiten, PDFs, Ticketsysteme, Wikis und Code Repos.
Incident Response: Wenn der Verdacht besteht, dass Daten abgeflossen sind
Wenn Sie vermuten, dass KI Workflows kompromittiert wurden, zählt Geschwindigkeit: Connector Tokens widerrufen, Sessions beenden, Speicher und Chat Verlauf prüfen, betroffene Accounts härten und Logs sichern. ITanic GmbH unterstützt dabei nicht nur präventiv beim sicheren KI Einsatz, sondern auch in der Incident Response und forensischen Aufklärung, falls es bereits zu einem Vorfall gekommen ist.
Fazit
Prompt Injection ist kein abstraktes KI Problem, sondern ein Sicherheitsproblem entlang Ihrer Inhalte, Integrationen und Berechtigungen. Wer KI produktiv nutzt, braucht klare Leitplanken: Minimale Rechte, saubere Trennung von Kontexten, Tests gegen indirekte Angriffe und einen belastbaren Incident Response Plan.
