Der rasante Fortschritt im Bereich der Künstlichen Intelligenz bringt nicht nur bahnbrechende Innovationen, sondern auch neue Risiken mit sich. Eine kürzlich bekannt gewordene Schwachstelle in Googles KI-System Gemini wirft ein Schlaglicht auf die sicherheitstechnischen Herausforderungen im KI-Zeitalter. Unternehmen müssen umdenken – nicht nur was Entwicklung, sondern insbesondere auch Sicherheit von KI-Anwendungen betrifft.
Gemini und der Vorfall: Ein Blick hinter die Kulissen der angreifbaren KI
Im Oktober 2025 wurde öffentlich bekannt, dass eine Sicherheitslücke in Googles KI-Modell „Gemini“ ausgenutzt wurde – und zwar auf bemerkenswerte Weise: ganz ohne den Einsatz klassischer Malware. Statt über schadhaften Code erfolgte der Angriff über sogenanntes „Indirect Prompt Injection“ (auch als Prompt-Leaking bezeichnet), bei dem das Sprachmodell gezielt manipuliert wurde, um intern gespeicherte Informationen preiszugeben oder abweichende Aktionen auszuführen.
Gemini, Googles multimodales KI-System und direkter Wettbewerber zu OpenAIs GPT-4, war ursprünglich dafür ausgelegt, Text, Code, Bilder und Sprache in verschiedensten Produktkontexten zu verarbeiten – von Workspace über Android bis hin zur Suche. Doch genau diese enorme Breite an Funktionalität wurde zur Eintrittspforte für raffinierte Angreifer.
Die Sicherheitslücke wurde von Forschern des Stanford CRFM sowie des MIT CSAIL entdeckt. Dabei konnten sie durch sorgfältig formulierte Eingabeaufforderungen (Prompts) sensitive interne Anleitungen und Systemverhalten extrahieren, ohne jeglichen Zugriff auf System-APIs oder Backend-Server zu benötigen.
Die Implikation: Die KI befolgte aufgrund ihrer eigenen Trainingsdaten gefährlich detaillierte Anweisungen, die in natürlicher Sprache verpackt waren – ein Paradebeispiel für die neuartige Verwundbarkeit KI-basierter Systeme.
Wie KI-Systeme durch prompte Angriffe manipulierbar werden
KI-Systeme wie Gemini basieren auf sogenannten LLMs (Large Language Models), die aus gewaltigen Datenmengen lernen, Muster verstehen und kontextuelle Antworten generieren. Doch ihre Offenheit für natürliche Sprache macht sie auch anfällig für manipulative Prompts – und schlimmer noch: Ihre „Black-Box“-Natur erschwert es, die exakten Ursachen fehlerhafter oder gefährlicher Systemantworten nachzuvollziehen.
Beim Angriff auf Gemini wurde die Fähigkeit des Modells ausgenutzt, Systeme promptbasiert zu steuern – z. B. durch eingebettete Steuerbefehle an Backend-Prozesse oder zur Filterung webbasierter Inhalte. Die Angreifer fügten HTML-Content mit versteckten Prompts (sogenannte „Hidden Instructions“) auf Webseiten ein. Sobald Gemini diesen Content aufrief – beispielsweise beim Zusammenfassen von Webseiteninhalten – übernahm es die eingebetteten Befehle als präskriptiven Kontext.
Diese Art der Angriffe lässt sich nicht nur schwer erkennen, sie sind oft auch völlig automatisierbar und kommen gänzlich ohne Malware aus – was sie zu einem ernsthaften Risiko für alle generativen KI-Anwendungen macht, insbesondere in Unternehmenskontexten.
Reaktion von Google: Sicherheitsmaßnahmen im Nachgang
Google reagierte prompt auf die Enthüllungen und veröffentlichte im November 2025 ein umfangreiches Sicherheitsupdate für Gemini. Dabei wurden mehrere Maßnahmen implementiert:
- Ein dedizierter Prompt-Sanitizer filtert nun externe Eingaben aggressiver nach möglichen Injection-Mustern
- Neue interne Filtermechanismen verhindern das Nachgeben auf verdächtige Promptaussagen
- Geminis Zugriff auf dynamisch skriptbare Inhalte wurde in vielen Google-Produkten begrenzt und stärker kontrolliert
- Ein „Red Teaming“-Ansatz mit KI-Sicherheitsexperten prüft regelmäßig mögliche emergente Risiken und anonymisierte Angriffsversuche
Ob diese Maßnahmen langfristig ausreichen, bleibt abzuwarten – insbesondere da es sich um ein sich stetig veränderndes Bedrohungsszenario handelt. Klar ist jedoch: Die Branche muss in puncto KI-Sicherheit die Lektionen dieses Vorfalls ernst nehmen.
KI-Sicherheit in der Praxis: Was Unternehmen lernen können
Sicherheitsvorfälle wie im Fall Gemini zeigen: KI-Systeme sollten nicht blind implementiert, sondern mit der gleichen Sorgfalt wie Netzwerkinfrastrukturen oder Cloud-Dienste geschützt werden. Eine Studie von Gartner prognostiziert, dass bis 2027 rund 60 % aller KI-Unfälle auf Sicherheits- oder Orchestrierungsfehler zurückzuführen sein werden (Quelle: Gartner AI Security Forecast, 2025).
Zusätzlich zeigt der AI Incident Database Report (Stand: 2025), dass über 40 % dokumentierter Missbrauchsfälle von KI aus fehlerhaften Nutzereingaben oder schlecht geschützten API-Zugängen resultierten.
Damit wird deutlich: Sicherheitslösungen für KI müssen technologische, regulatorische und betriebliche Aspekte gleichermaßen abbilden.
- Verpflichtende Red-Team-Tests durchführen: Unternehmen sollten simulierte Angriffe auf ihre KI-Anwendungen durchführen lassen – idealerweise durch unabhängige Sicherheitsfirmen – um Schwachstellen früh zu identifizieren.
- Prompt-Filtering & Input-Validation im Frontend fest verankern: LLMs sollten niemals ungefiltert externen Content verarbeiten. Jede gefütterte Eingabe muss durch Strukturfilter (z. B. Regex oder semantische Heuristik) validiert werden.
- Kontextuelle Zugriffskontrolle etablieren: KI-Systeme benötigen abgestufte Rechte – so wie Mitarbeiterrollen in IT-Systemen. Eine „One-size-fits-all“-Policy ist sicherheitstechnisch fatal.
Standardisierung und gesetzgeberischer Rahmen: Zwischen Hoffnung und Realität
Ein weiterer Aspekt ist die Regulierung. Auf internationaler Ebene schreiten KI-bezogene Gesetzesinitiativen zwar voran, sind aber technisch oft zu vage. Der Digital Services Act (DSA) der EU verlangt unter anderem, dass Anbieter generativer KI-Systeme Mechanismen zur Erkennung von Deepfakes oder manipulativen Outputs implementieren. Doch viele standardisierte Sicherheitsrichtlinien fehlen weiterhin.
Insbesondere in den USA, China und Europa arbeiten Standardisierungsgremien an Richtlinien für „Secure-by-Design“-Ansätze in KI-Systemarchitekturen. Die ISO/IEC JTC 1/SC 42 arbeitet derzeit an einer neuen Norm (ISO/IEC FDIS 42001), die organisatorische Anforderungen an vertrauenswürdige KI beschreibt – mit direktem Fokus auf Risiken wie Prompt Injection, Output-Verlässlichkeit und Transparenz.
Solche Entwicklungen zeigen zwar einen Weg auf, doch ihre Umsetzung kann Jahre dauern. Die Industrie ist daher in der Pflicht, freiwillig Vorreiter im Bereich verantwortungsbewusste KI und sichere Modellinfrastrukturen zu werden.
Zukunftsausblick: Was kommt nach der Prompt-Injection?
Die Sicherheitslücke in Gemini war vermutlich nur ein erster Vorgeschmack auf weitaus komplexere Angriffsarten. KI-Modelle werden künftig vermehrt in sicherheitskritischen Bereichen wie Banking, Transport, Medizin und Recht verwendet. Die potenziellen Angriffsflächen reichen dabei von fehleranfälligen Vortrainingsdaten über Adversarial Inputs bis hin zu manipulierten API-Verknüpfungen mit Systemdiensten.
Forschungsgruppen wie das British Alan Turing Institute oder DARPA setzen sich bereits mit Konzepten wie „AI Explainability Audits“ oder „Model Behavior Fingerprinting“ auseinander, die maschinelles Lernen nachträglich überprüfbar und angreifbar machen sollen – aus Sicht von Compliance und IT-Sicherheit.
Auch neue KI-Architekturen wie Retrieval-Augmented Generation (RAG) oder Guardrails-nach-Zero-Trust-Prinzipien könnten in den kommenden Jahren Standard werden, um KI robuster gegenüber kontextuellen Angriffen zu machen.
Doch klar ist: Wer KI großflächig einsetzt, kann sich Sicherheitslücken wie im Fall Gemini nicht erlauben – weder technisch, noch reputationsbezogen.
Fazit: Der Fall Gemini hat die Tech-Welt daran erinnert, dass Sicherheit kein Zusatzmodul, sondern ein zentrales Architekturprinzip jeder KI-Lösung sein muss. Unternehmen sollten das Momentum nutzen, um ihre Systeme zu evaluieren, ihre Teams zu schulen und sich aktiv in der Standardisierungsdebatte zu engagieren. Die Zukunft der KI liegt nicht nur in ihrer Intelligenz – sondern vor allem in ihrer Vertrauenswürdigkeit.
Wie gehen Sie mit Sicherheitsfragen in Ihren KI-Lösungen um? Teilen Sie Ihre Strategien, Bedenken und Best Practices in den Kommentaren – gemeinsam gestalten wir die sichere KI-Zukunft.
