Ein spektakulärer Fall von Fehlidentifikation durch eine polizeilich eingesetzte KI-Software sorgt in Deutschland derzeit für Aufsehen. Was als Hightech-Vorsprung im Sicherheitsbereich gedacht war, offenbart gravierende Schwächen – mit weitreichenden juristischen und gesellschaftlichen Folgen. Können wir Maschinen wirklich vertrauen, wenn es um Freiheit und Sicherheit geht?
Die Verwechslung, die Vertrauen kostet
Im November 2025 identifizierte eine KI-gestützte Gesichtserkennungssoftware im Rahmen eines bundesweiten Pilotprojekts einen Mann fälschlicherweise als Tatverdächtigen in einer schweren Straftat. Grundlage war eine automatische Auswertung von Videoaufnahmen im öffentlichen Raum. Der Betroffene wurde aufgrund der als zuverlässig eingestuften Software zunächst inhaftiert – trotz Alibi. Erst Tage später klärte sich der Irrtum auf: Der Algorithmus hatte eine frappierende Ähnlichkeit zwischen zwei Gesichtern falsch bewertet. Die politische und juristische Aufarbeitung läuft noch.
Der Fall ist kein Einzelfall. Auch international gab es in den vergangenen Jahren mehrfach ähnliche Vorfälle: In den USA kam es 2020 und 2021 zu dokumentierten Falschverhaftungen aufgrund von KI-basierter Gesichtserkennung – insbesondere bei People of Color. Dies lenkt den Fokus erneut auf ein zentrales Thema im Zeitalter künstlicher Intelligenz: Vertrauen in Technologie – und wo dessen Grenzen liegen müssen.
Wie KI-basierte Polizeisoftware funktioniert – und wo sie versagt
Moderne Polizeibehörden weltweit setzen zunehmend auf KI-Technologien: Gesichtserkennung, Predictive Policing, Sprach- und Textanalyse oder automatisierte Mustererkennung in großen Datenmengen. In Deutschland kommen solche Systeme meist in Testbetrieben oder lokal begrenzt zum Einsatz – Bayern, Hessen und Berlin gelten als besonders aktiv. Auch auf EU-Ebene wird die Rolle von KI im Sicherheitsbereich intensiv diskutiert, etwa im Rahmen der KI-Verordnung (AI Act).
Gesichtserkennungs-Software nutzt Deep-Learning-Verfahren – häufig Convolutional Neural Networks (CNNs) – und wird mit Millionen Bildern trainiert. Entsprechend hoch sind die Anforderungen an Datenqualität, Diversität und die Trainingsumgebung. Doch Tests des Chaos Computer Club (CCC) und der Algorithmic Justice League mahnen: Bereits kleine Verzerrungen in den Trainingsdaten führen zu systematischem Bias. Demnach liegt die Fehlerrate bei nicht-weißen männlichen Personen oft mehr als doppelt so hoch wie bei weißen. Eine 2019 veröffentlichte Studie des MIT Media Lab zeigte Fehlertoleranzen von bis zu 34,7 % bei dunkler Hautfarbe (Quelle: Buolamwini et al., Gender Shades).
Hinzu kommt das Fehlen transparenter Prüfprozesse. „Viele dieser Systeme sind Black Boxes – Behörden können technisches Verhalten kaum intern nachvollziehen“, warnt Dr. Katharina Saalbach, KI-Ethikerin an der Universität Bremen. „Rechtsstaatlichkeit setzt Nachvollziehbarkeit voraus – das ist mit aktuellen Systemen oft unvereinbar.“
Risiken und Konsequenzen bei kritischem KI-Einsatz
Die Kritik an KI im Sicherheitsapplikationen ist nicht neu. Doch der aktuelle Fall zeigt drastisch, wie schnell Fehlentscheidungen entstehen können – mit verheerenden Folgen: unrechtmäßige Freiheitsentziehung, Reputationsschäden, psychische Belastung für das Opfer, mögliche juristische Klagen gegen den Staat. Darüber hinaus bedroht eine fehlinformierte oder übereifrige KI das Prinzip von Unschuldsvermutung und Menschenwürde.
Ein weiteres Risiko liegt im sogenannten Automation Bias – das psychologische Phänomen, dass Menschen Maschinenentscheidungen überbewerten. Polizisten und Ermittler neigen dazu, KI-Vorschläge als gegeben hinzunehmen, anstatt sie kritisch zu prüfen. Untersuchungen aus Großbritannien belegen, dass die Genauigkeitseinschätzungen künstlicher Intelligenz tendenziell überschätzt werden (Quelle: UK Centre for Data Ethics and Innovation, 2024).
Ein zusätzlicher Aspekt: Datenschutzrechtlich stehen KI-Systeme unter besonderer Beobachtung, insbesondere wenn sie biometrische Daten verarbeiten. Der Europäische Datenschutzausschuss warnt regelmäßig vor flächendeckender biometrischer Überwachung und mahnt enge gesetzliche Grenzen an. Eine zu weit gefasste Anwendung birgt das Risiko einer sich ausweitenden Überwachungsarchitektur – mit Folgen für Demokratie und Bürgerrechte.
KI im Sicherheitsbereich – ein wachsender, aber umstrittener Markt
Der Markt für sicherheitsbezogene KI-Lösungen boomt: Laut einer Prognose von MarketsandMarkets soll er weltweit von 9,6 Milliarden US-Dollar im Jahr 2022 auf über 22,1 Milliarden US-Dollar im Jahr 2026 wachsen (Quelle: MarketsandMarkets, AI in Security Market Report 2023). In Deutschland werden laut Bitkom immer mehr Projekte gestartet, etwa im Kontext von Videoüberwachung, Cyberabwehr und Datenanalyse.
Gleichzeitig wächst der regulatorische Druck. Die jüngst verabschiedete EU-KI-Verordnung (AI Act) stuft biometrische Identifizierung in Echtzeit künftig als Hochrisiko-Anwendung ein – verbunden mit strengen Auflagen für Transparenz, Auditierbarkeit und Fairness. Eine Nichtkonformität kann Strafen von bis zu 30 Millionen Euro oder sechs Prozent des Jahresumsatzes nach sich ziehen.
Auch die öffentliche Meinung beeinflusst die Entwicklung: In einer Umfrage des IFOP für die Europäische Kommission aus dem Jahr 2025 gaben 68 % der Befragten an, dass sie „wenig Vertrauen“ in die Genauigkeit von KI-Entscheidungen durch Polizeibehörden hätten – eine klare Ohrfeige für den Handlungseifer der Sicherheitspolitik.
Handlungsempfehlungen für Politik, Sicherheitsbehörden und Entwickler
- Auditierbare Systeme schaffen: KI-Lösungen im Sicherheitsbereich sollten transparent, erklärbar und auditierbar sein. Behörden müssen in der Lage sein, Entscheidungen systemisch nachzuvollziehen und gegebenenfalls externe Fachgremien einzuschalten.
- Standardisierte Fehleranalyse und Monitoring etablieren: Jede falsch-positive Identifikation muss systematisch untersucht, dokumentiert und öffentlich gemacht werden. Ein zentrales Fehlermelderegister würde helfen, Risiken und Patterns frühzeitig zu erkennen.
- Ethik-by-Design verankern: Bereits während der Entwicklung müssen ethische Standards integriert, diverse Trainingsdatensätze verwendet und interdisziplinäre Expertinnen eingebunden werden – juristisch, soziologisch und technisch.
Ein Blick nach vorn: Balance zwischen Technologie und Grundrechten
Technologien wie KI haben das Potenzial, Polizeiarbeit effizienter, schneller und datenbasierter zu machen. Aber sie dürfen in kritischen Bereichen nicht über den Menschen gestellt werden. Unser Rechtssystem beruht auf der Würde des Einzelnen und dem Prinzip des Zweifelns. Künstliche Intelligenz hingegen kennt keine Zweifel – und das ist gefährlich, wenn es um Menschenleben geht.
Die Debatte über KI-Einsatz in Staatsgewalt ist ein gesamtgesellschaftliches Thema. Es geht um mehr als Technik: um Vertrauen, Kontrolle und Verantwortung. Damit KI nicht zum Risiko, sondern zur Chance wird, müssen technologische Möglichkeiten stets mit rechtsstaatlicher und ethischer Sorgfalt begleitet werden.
Diskutieren Sie mit: Haben Sie Vertrauen in KI im Sicherheitsbereich? Wo sehen Sie Chancen, wo Gefahren? Teilen Sie Ihre Meinung mit unserer Community in den Kommentaren!
