Die Suche nach Gesundheitsinformationen gehört zu den häufigsten Nutzungszwecken des Internets – doch was, wenn die gelieferten Informationen fehlerhaft oder gar gefährlich sind? Google hat kürzlich eine umstrittene Funktion aus seiner Suche entfernt: bestimmte KI-generierte medizinische Übersichten. Dieser Schritt wirft neue Fragen auf zur Verantwortung von Tech-Konzernen im Umgang mit sensiblen Daten – und zur Zukunft der Künstlichen Intelligenz im Gesundheitsbereich.
Fehlende Verlässlichkeit: Warum Google die Notbremse zog
Im Mai 2023 präsentierte Google mit großem Medienecho sein neues Feature „AI Overviews“. Ziel war es, Nutzeranfragen direkt in der Suche durch zusammenfassende KI-Antworten zu beantworten – auch für medizinische Fragestellungen. Was als Innovation im Wissenszugang gedacht war, sorgte schnell für harsche Kritik. Experten fanden zahlreiche Beispiele für gefährliche Falschinformationen, unvollständige Diagnosen und medizinisch irreführende Aussagen.
Ein vielfach zitiertes Beispiel: Ein Nutzer fragte Google, wie oft man kleine Steine essen könne. Die KI-generierte Übersicht empfahl sinngemäß, „einmal pro Tag sei unbedenklich und könne dem Verdauungssystem helfen“ – basierend auf einem satirischen Reddit-Post. Der Vorfall ging viral und wurde zum Symbol für die unzureichende Quellenprüfung von KI in sensiblen Kontexten.
Im Dezember 2025 reagierte Google und begann, medizinische AI Overviews großflächig zu deaktivieren. Sundar Pichai, CEO von Alphabet, erklärte öffentlich: „Wir sind uns unserer Verantwortung im Bereich Gesundheitsinformationen bewusst. Unser Ziel ist es, Nutzen und Sicherheit in Einklang zu bringen.“
Kritik aus Fachkreisen: „Gefährliches Spiel mit der Gesundheit“
Die Entscheidung, AI Overviews im medizinischen Bereich zu stoppen, kam auf massiven Druck aus Wissenschaft und Medizinethik. Forscher des MIT Media Lab und der Johns Hopkins University hatten bereits im Sommer 2025 eine systematische Analyse der medizinischen Ergebnisse veröffentlicht: In über 23 % der untersuchten AI-Antworten fanden sich signifikante Fehler oder medizinische Ungenauigkeiten (Quelle: JHU/MIT, August 2025).
Dr. Katharina Möbert, ärztliche Direktorin am Berliner Charité AI Health Lab, sagte in einem Interview mit Technology Review: „Es ist unverantwortlich, medizinische Aussagen von einem Sprachmodell beim ersten Live-Rollout unkontrolliert auf Milliarden Nutzer loszulassen. Selbst Ärzte recherchieren differenziert – ein Sprachmodell kennt jedoch keine medizinische Verantwortung.“
Hinzu kommt ein wachsendes Problem struktureller Verzerrung („AI Bias“): Studien zeigen, dass KI-Systeme im Gesundheitsbereich bestimmte Bevölkerungsgruppen – etwa ethnische Minderheiten oder Menschen mit seltenen Erkrankungen – systematisch unterrepräsentieren oder fehldiagnostizieren. Laut einer Erhebung des International Journal of Medical Informatics (2025) wurden 31 % der Antworten überproportional stark auf weiße, amerikanische Bevölkerungsgruppen zugeschnitten – ein alarmierendes Ungleichgewicht.
Grenzen generativer KI in der Medizin
Generative Modelle wie PaLM 2 oder Gemini übertreffen heutige Suchsysteme oft in Ausdrucksstärke, nicht aber in Faktengenauigkeit. Anders als strukturierte Expertensysteme wie IBM Watson Health (eingestellt 2021) basieren Large Language Models auf Wahrscheinlichkeitsverteilungen, nicht auf überprüfbaren Behandlungsalgorithmen.
Selbst bei einfach erscheinenden Symptomen wie „plötzlicher Schwindel“ oder „starker Husten“ kann ein KI-Modell fehlerhafte Korrelationen herstellen, weil es keinen Zugriff auf echte Diagnostik, Laborbefunde oder Anamnese hat. Die Gefahr besteht, dass Nutzer der scheinbar kompetenten Sprache zu viel Vertrauen schenken – ein Phänomen, das Forscher als „Illusion technischer Autorität“ bezeichnen.
Vor allem in Kombination mit SEO-Optimierungen gab es Hinweise darauf, dass AI Overviews eigene Relevanz durch systematische Vereinfachung erzeugen – was gerade bei differenzierten Krankheitsbildern wie Autoimmunerkrankungen oder psychischen Störungen problematisch werden kann.
Wie Tech-Unternehmen ihre Verantwortung neu definieren müssen
Mit mehr als 9 Milliarden Suchanfragen pro Tag (Statista, 2025) trägt Google nicht nur wirtschaftliche, sondern auch eine gesellschaftlich-ethische Verantwortung. Im Bereich Gesundheit ist diese Verantwortung besonders groß. Gerade wenn KI-Antworten „oberhalb“ traditioneller Suchergebnisse erscheinen, interpretieren Nutzer sie als offizieller und validierter.
Der Rückzug von Google beim Thema AI Overviews im Medizinbereich könnte als Wendepunkt gelten – nicht als Scheitern, sondern als Kurskorrektur. Auch OpenAI hatte 2024 auf Druck von Regulierungsbehörden das Projekt „ChatGPT Health Advisor“ eingestellt, weil die FDA entsprechende Prüfsiegel verweigert hatte. Apple und Amazon wiederum investieren vor allem in validierte, private Diagnosesysteme – eher im Stil digitaler Arztassistenten denn offenen Suchsystemen.
Diese Entwicklung könnte auch der Grund sein, warum die WHO, die UNESCO und die EU-Kommission im Rahmen des „AI for Health“-Pakets gemeinsame Sicherheitsstandards entwickeln, darunter eine klassifikationspflichtige Risikobewertung für KI-Systeme mit potenziell gesundheitlichen Auswirkungen (Stand: Entwurf, September 2025).
KI bleibt, aber anders: Machbarkeitsgrenzen und neue Einsatzfelder
Auch wenn Google seine AI Overviews zurückzieht, ist der Einsatz generativer KI im Gesundheitswesen nicht gescheitert – er wird nur neu ausgerichtet. Statt öffentlicher Informationsverbreitung liegt der Fokus künftig auf Enterprise-Lösungen für Praxen, Versicherer oder Krankenhäuser. Start-ups wie Hippocratic AI oder Nabla entwickeln KI-Systeme, die in kontrollierten Umgebungen als Dokumentationshilfe oder Triage-Werkzeuge agieren.
Ein Beispiel: Das US-Gesundheitssystem Kaiser Permanente testet aktuell ein KI-gestütztes Intake-System, bei dem Patienten vorab Symptome digital schildern. Ein Sprachmodell strukturiert die Angaben, bevor das medizinische Fachpersonal die echte Anamnese übernimmt. Der Vorteil: weniger Verwaltungsaufwand, besser vorbereitete Gespräche und dokumentierte Verlaufsketten. Ähnliche Pilotprojekte laufen in Spanien, Schweden und auch an deutschen Universitätskliniken.
Auch bei der Erkennung von Mustern in großen medizinischen Datenmengen – etwa Genomdaten oder CT-Bildern – leisten KI-Modelle bereits wertvolle Arbeit. Hier liegt der Unterschied darin, dass KI nicht autonom handelt, sondern als Assistenz-Technologie eingebettet ist.
Was Nutzerinnen und Nutzer jetzt tun sollten
Für Nutzer stellen sich angesichts dieser Entwicklungen klare Handlungserfordernisse – vor allem in Bezug auf ihre Informationskompetenz:
- Medizinische Informationen aus der Suche stets validieren: AI-Antworten nicht als medizinische Beratung interpretieren, sondern primär als Impulsgeber – nicht als Diagnose.
- Auf Herkunft und Quelle achten: Seriöse Informationen stammen von Einrichtungen wie dem Robert Koch-Institut, WHO, medizinischen Fachgesellschaften oder zertifizierten Portalen wie Netdoktor oder Apotheken Umschau.
- Symptombezogene Google-Anfragen wohlüberlegt durchführen: Besser mit klaren, neutralen Fragen beginnen (z. B. „Was kann Ursache von Schwindel sein?“ statt „Ist Schwindel ein Tumor?“), um keine voreingenommenen KI-Antworten zu erhalten.
Fazit: Digitale Verantwortung geht über Technologie hinaus
Googles Rückzug bei KI-generierten medizinischen Übersichten ist keine Niederlage – sondern ein überfälliger Nachweis digitaler Reife. Die Technologie ist stark, aber nicht allwissend. Santé ist zu wichtig, um in algorithmische Selbstverständlichkeiten übergeben zu werden.
Für die digitale Zukunft des Gesundheitswesens gilt daher: KI muss als Werkzeug gedacht werden, nicht als Heilsversprechen. Offenheit, Regulierbarkeit und menschliches Fachwissen bleiben unverzichtbar – ebenso wie eine durchdachte Produktgestaltung seitens der Tech-Anbieter.
Welche Erfahrungen habt ihr mit KI-generierten Gesundheitsinformationen gemacht? Wie sollte eurer Meinung nach eine sichere digitale Gesundheitsaufklärung in Zukunft aussehen? Diskutiert mit uns in den Kommentaren.
