Der globale Boom von generativen KI-Technologien hat eine neue Schattenwirtschaft hervorgebracht: Auf dem digitalen Schwarzmarkt floriert der Handel mit modifizierten KI-Modellen, die für Cyberangriffe, Deepfakes und automatisierte Betrugsmaschen optimiert wurden. Eine aktuelle Analyse von Palo Alto Networks‘ Security-Einheit Unit 42 legt die besorgniserregenden Ausmaße dieses Trends offen – und gibt dringenden Anlass zur Diskussion.
Wie Cyberkriminelle KI-Modelle manipulieren
Im Oktober 2024 veröffentlichte Unit 42 einen umfassenden Bericht unter dem Titel „The Dark Side of AI: Threats From the Underground Economy“, der systematisch aufzeigt, wie cyberkriminelle Gruppen Large Language Models (LLMs) wie GPT-2, LLaMA oder Falcon so anpassen, dass sie bestehende Sicherheitsmechanismen umgehen. Diese modifizierten Modelle – oft als „jailbroken“ oder „fine-tuned for fraud“ bezeichnet – sind darauf programmiert, Anleitungen für Phishing-Kampagnen, Malware-Erstellung, Social Engineering oder Kryptobetrug bereitzustellen.
Besonders auffällig: Die modifizierten Modelle werden offen in Hacker-Foren, Telegram-Kanälen und auf Marktplätzen im Darknet gehandelt. Laut Unit 42 variieren die Preise je nach Capability-Level zwischen 300 bis über 5.000 US-Dollar pro Modell. Einige speziell manipulierte KI-Versionen enthalten sogar auf bestimmte Zielbranchen abgestimmte Prompts und Datenbanken – etwa für Angriffe auf das Finanzwesen oder den E-Commerce.
Automatisierte Cyberangriffe: KI als Waffe
Die Verbreitung solcher Systeme bedeutet einen Paradigmenwechsel in der Cybersicherheitslandschaft: Angriffe, die bislang hohe manuelle Expertise erforderten, lassen sich nun mit Chatbot-ähnlicher Benutzeroberfläche und per Prompting automatisieren. KI-gestützte Toolkits wie FraudGPT, DarkBERT oder WormGPT sind keine hypothetischen Bedrohungen mehr – sie wurden dokumentiert und aktiv in Angriffsketten beobachtet.
Ein Beispiel ist die Kampagne „FakeGPT“, die Anfang 2025 entdeckt wurde: Hier nutzten Cyberkriminelle ein modifiziertes LLaMA-Modell, um personalisierte Phishing-Mails mit täuschend echter Sprache zu generieren und diese skaliert an Unternehmen in Europa zu verschicken. Die Erfolgsquote? Laut einer Studie des israelischen Start-ups Guardz lag die Öffnungsrate verdächtiger E-Mails durch Mitarbeitende in betroffenen Firmen bei über 45 % – ein alarmierender Wert.
Hinzu kommt die Möglichkeit, Schwachstellen in Software automatisiert durchsuchen und ausnutzen zu lassen. Modifizierte LLMs übernehmen Aufgaben, die früher durch penetration testing oder reverse engineering erledigt wurden – und das in Sekundenschnelle.
Schwarzmarktplattformen für KI: Ein wachsender digitaler Untergrund
Die Handelsinfrastruktur für manipulierte KI ist ausgereifter, als man vermuten könnte. Laut Unit 42 existieren derzeit über 200 dedizierte Kanäle und Foren im Darknet, die aktiv modifizierte KI-Modelle bewerben. Im Forum „CrackedAI“ etwa tummeln sich laut Cyberthreat-Intelligence-Dienstleister Flashpoint täglich mehrere Tausend Nutzer. Seit Anfang 2024 ist die Zahl an Angeboten für Jailbreak-Kits, Fine-Tuning-Skripte und Blackhat-Trainingsdatenbanken um 240 % gestiegen.
Oftmals wird zudem Social Engineering betrieben, um Zugang zu offiziellen API-Schlüsseln für kommerzielle KI-Modelle zu erlangen – etwa durch wohlklingende Job-Scams, bei denen Application Programming Interfaces missbraucht werden, um geschlossene Systeme wie GPT-4 zu replizieren oder zu analysieren.
Ein großes Problem: Die Provider der Infrastruktur – etwa C2-Server oder Repositories für manipulierte Modelle – befinden sich häufig in rechtlich schwer greifbaren Gebieten wie Russland, Nordkorea oder China. Die internationale Strafverfolgung stößt hier regelmäßig an ihre Grenzen.
Systemische Risiken für Unternehmen und Gesellschaft
Die Verfügbarkeit schwarzmarktlicher KI-Modelle birgt systemische Risiken auf mehreren Ebenen. Einerseits steigt die Eintrittsschwelle für Cyberangriffe rapide: Selbst Low-Skill-Hacker – sogenannte „Script Kiddies“ – können über vortrainierte Modelle gezielte Attacken durchführen. Andererseits sinkt die Kontrollmöglichkeit von Plattformbetreibern und staatlichen Akteuren, da viele Open-Source-Modelle schwer nachträglich zu regulieren sind.
Besonders betroffen sind laut IBM X-Force-Forecast 2025 Unternehmen mit mittlerer digitaler Reife, die weder in ausgereifte Detection-&-Response-Systeme noch in KI-KPIs investiert haben. Aktuell erkennen nur 23 % aller befragten mittelständischen Unternehmen in der EU den Unterschied zwischen regulären und feindlich manipulierten KI-Modellen (Quelle: ENISA Report 2025).
Auch Demokratie und öffentlicher Diskurs bleiben nicht verschont: Modifizierte Modelle verbreiten automatisiert Falschinformationen, erstellen Deepfakes oder initiieren Bot-gesteuerte Influencer-Kampagnen. Solche hybriden Bedrohungen treffen nicht nur Infrastrukturen, sondern auch das Vertrauen in digitale Inhalte.
Gegenmaßnahmen: Was Unternehmen und Behörden jetzt tun müssen
Das Katz-und-Maus-Spiel zwischen Sicherheitsexperten und Cyberkriminellen rund um modifizierte KI beschleunigt sich – und erfordert technologische wie regulatorische Antworten. Doch Ansatzpunkte existieren bereits.
- Implementieren Sie KI-Auditing und forensische Analyseframeworks: Tools wie Microsoft Azure AI Safety Inspector oder Huggingface Guardrails können helfen, verdächtige KI-Verhaltensmuster frühzeitig zu erkennen und zu dokumentieren.
- Stärken Sie Mitarbeitersensibilisierung und Prompt-Hygiene: Schulungen zu adversarial Prompting und Phishing-Resilienz sind essenziell, um menschliche Fehltritte zu minimieren. Awareness-Kampagnen sollten besonders auf die Risiken realitätsnaher KI-Kommunikation eingehen.
- Fördern Sie sektorübergreifende Threat-Intelligence-Sharing-Programme: Netzwerke wie FIRST oder das Joint Cybercrime Action Taskforce (J-CAT) leisten wichtige Koordinationsarbeit – ihre Nutzung sollte ausgeweitet und institutionell gestärkt werden.
Zusätzlich drängt die Zeit für gesetzgeberische Initiativen. Die im Dezember 2025 in Kraft getretene EU AI Cyber Resilience Regulation fordert erstmals verpflichtende Sicherheitsmechanismen für Anbieter von KI-Systemen – darunter Logging, Risk Scoring und Model Provenance. Doch viele Hersteller kämpfen mit der praktischen Umsetzung.
Auch Plattformen wie Hugging Face oder GitHub stehen in der Verantwortung: Bessere Moderations- und Reporting-Funktionen, sowie Sicherheitsrichtlinien für die Veröffentlichung von Modellen, könnten den Missbrauch reduzieren. Ein gelungenes Beispiel liefert die AI Incident Database der Partnership on AI, die dokumentierte Missbrauchsfälle sammelt und analysiert.
Fazit: Künstliche Intelligenz als potenzielle Dual-Use-Technologie
Die wachsende Underground-Ökonomie rund um manipulierte KI-Modelle zeigt, wie Künstliche Intelligenz zunehmend zur Dual-Use-Technologie wird – mit enormer Sprengkraft für IT-Sicherheit, Gesellschaft und Vertrauen. Während auf der einen Seite Innovation und Effizienzgewinne locken, öffnen sich auf der anderen dunkle Räume des digitalisierten Missbrauchs.
Umso wichtiger ist es, dass Entwickler, Unternehmen und Aufsichtsbehörden gemeinsam Verantwortung übernehmen – durch technische Maßnahmen, Prävention und ein Bewusstsein für die Risiken. Es reicht nicht, nur den Fortschritt zu feiern. Wir müssen auch seine Schatten ernst nehmen.
Welche Erfahrungen habt ihr mit der Absicherung von KI-Systemen gemacht? Teilt eure Best Practices mit der Community und diskutiert mit uns, wie wir gemeinsam eine resilientere KI-Zukunft gestalten können.
