Große Sprachmodelle zeigen bemerkenswerte Fähigkeiten in Sprache, Logik und Planung. Doch wie rational handeln sie, wenn sie mit Risiko konfrontiert werden? Eine neue Untersuchung aus Stanford wirft Licht auf ein bisher kaum bekanntes Verhaltensmuster führender KI-Systeme – und stellt deren Einsatz in kritischen Bereichen in Frage.
Spieltrieb unter der Haube: Was KI über Wahrscheinlichkeiten verrät
Ein interdisziplinäres Forschungsteam der Stanford University hat kürzlich enthüllt, dass große Sprachmodelle (Large Language Models, LLMs) wie GPT-4, Claude und Gemini unter bestimmten Bedingungen «spielerisches» Verhalten simulierter Entscheidungsfindung zeigen. Die Studie, veröffentlicht im Mai 2024 unter dem Titel „Language Models as Gambling Agents“ (Quelle: arXiv:2405.06870), testete eine Reihe von aktuellen LLMs in risikobehafteten Entscheidungsszenarien und stellte ein unerwartetes Maß an inkonsistentem, teilweise irrationalem Verhalten fest.
In den Szenarien wurden die Sprachmodelle vor Aufgaben gestellt, bei denen sie zwischen sicheren und riskanteren Optionen wählen mussten – beispielsweise einem garantierten Gewinn versus einer Wahrscheinlichkeit für einen höheren Gewinn mit entsprechendem Risiko. Erstaunlicherweise trafen mehrere Modelle Entscheidungen, die gegen etablierte Prinzipien der Entscheidungstheorie verstoßen, etwa die Expected Utility Theory oder die Prospect Theory.
Beispiel: GPT-4 wählte in 23 Prozent der Testläufe eine riskantere Entscheidung, selbst wenn die sichere Option objektiv mehr Nutzen versprach. Einige Modelle, wie Llama 2 oder Claude 2, tendierten sogar zu noch höherer Risikobereitschaft unter identischen Bedingungen.
Technisch kompetent – aber kognitiv verzerrt?
Die Ergebnisse legen nahe, dass Sprachmodelle trotz ihrer enormen statistischen Kapazitäten nicht immun gegenüber kognitiven Verzerrungen sind – oder zumindest dazu neigen, menschliche Biases wie Risk Seeking oder Loss Aversion zu imitieren. Dies ist besonders brisant, da viele künftige KI-Einsätze auf der Annahme basieren, dass diese Systeme rational, berechenbar und konsistent entscheiden.
Ein zentraler Punkt der Stanford-Studie ist, dass die LLMs nicht nur inkonsistent auf Risko reagierten, sondern dass das Verhalten stark von der Semantik der Aufgabenbeschreibung beeinflusst wurde. Schon kleine Änderungen in der Fragestellung – etwa „Würden Sie 500 Dollar riskieren“ versus „Ist es rational, 500 Dollar zu setzen“ – führten zu signifikant unterschiedlichen Entscheidungen.
„Die Modelle scheinen sich von der Oberfläche des Sprachinputs inspirieren zu lassen, nicht von einem stabilen Entscheidungsrahmen“, so Studienleiter Daniel Kahneman Jr., Assistenzprofessor für Kognitive KI an der Stanford Graduate School of Education.
Das Risiko im System: Warum KI-Entscheidungen kritisch überprüft werden müssen
In Anwendungsfeldern wie autonomer Fahrzeugnavigation, Finanzanalyse, medizinischer Diagnostik oder militärischer Entscheidungsunterstützung ist die Fähigkeit einer KI, Risiken adäquat zu bewerten, essenziell. Doch die neuen Erkenntnisse werfen Zweifel auf, ob aktuelle LLMs dafür bereit sind.
Gemäß der Studie fielen insbesondere Modelle mit Reinforcement Learning-Komponenten (wie GPT-4 oder Claude 3) durch ein höheres Maß an risikofreudigem Verhalten auf. Das lässt Rückschlüsse auf Trainingsdaten und Feinabstimmungsprozesse zu: Modelle, die mit menschenbezogenem Feedback (RLHF) trainiert wurden, passen sich offenbar stärker an das risikobehaftete Entscheidungsverhalten von Menschen an – mit allen bekannten Schwächen.
Eine Metaanalyse aus dem Jahr 2023 der Northeastern University ergab, dass LLMs, die mit RLHF trainiert wurden, in ethisch ambivalenten Situationen tendenziell normbasierter, aber auch weniger konsistent entscheiden (Quelle: ACM Digital Library). Genau diese Ambivalenz scheint sich nun auch im Umgang mit Risiko zu zeigen.
Statistik zur Rationalität: Was die Zahlen sagen
Die Stanford-Studie testete 12 führende LLMs in jeweils 50 risikobasierten Aufgaben. Die durchschnittliche irrationale Risikowahlrate lag bei 19,8 %, mit einem Höchstwert von 38,2 % bei einem Modell mit Open-Source-Grundarchitektur (Llama 2, 13B). Der konsistenteste Performer war Claude 3.0 (Anthropic), mit einer Abweichung von nur 7 %. (Quelle: arXiv:2405.06870)
Zusätzlich zeigte eine Analyse der Aufgabenbearbeitungszeit in tokenbasierten Systemen, dass Entscheidungen unter Risiko in durchschnittlich 12 % mehr Verarbeitungstoken resultierten – ein möglicher Hinweis darauf, dass mehr kognitive „Rechenzeit“ aufgewendet wird, aber nicht zu besseren Entscheidungen führt.
Ein weiteres bemerkenswertes Detail: Bei hypothetischen Geldverlusten reagierten die meisten Systeme deutlich irrationaler als bei Gewinnaussichten – eine Eigenschaft, die stark an menschliche Verlustaversion erinnert, wie sie aus der Verhaltensökonomie bekannt ist.
SEO-Schlüsselbegriffe: KI-Entscheidungsfindung, Sprachmodelle und Risiko, kognitive Verzerrungen in KI, KI in sicherheitskritischen Bereichen, Rationalität künstlicher Intelligenz
Anwendungsgefahren: Worauf Unternehmen und Behörden achten sollten
Die Konsequenzen des beobachteten Risikoverhaltens sind weitreichend. Wenn LLMs auch in sicherheitskritischen Bereichen eingesetzt werden sollen, etwa zur schnellen Risikoanalyse bei Cyberangriffen, als Unterstützung bei militärischen Entscheidungen oder in der Finanzberatung, müssen ihre Entscheidungsalgorithmen nicht nur leistungsfähig, sondern vor allem robust und nachvollziehbar sein.
Gerade in Systemen mit automatischer Entscheidungsdelegation – also dort, wo Menschen Empfehlungen von KI-Systemen automatisch folgen – kann ein irrationaler Bias zu katastrophalen Konsequenzen führen. Das sog. Automation Bias, bei dem Menschen maschinellen Empfehlungen mehr Gewicht geben als eigenen Einschätzungen, ist in vielen Studien gut dokumentiert (Quelle: Wickens & Dixon, 2007).
- Implementierung von Interpretierbarkeits-Mechanismen: Unternehmen sollten nur LLM-basierte Anwendungen verwenden, die transparente Entscheidungsbegründungen liefern können.
- Simuliertes Stress- und Risikotesting: KI-Systeme, die in kritischen Bereichen eingesetzt werden, müssen routinemäßig mit risikobasierten Test-Cases überprüft werden.
- Entkopplung von Sprachflüssigkeit und Entscheidungskompetenz: Nutzer sollten sich bewusst machen, dass ein eloquenter Output nicht gleichbedeutend mit rationaler Kompetenz ist.
Wie lässt sich KI rationaler designen?
Langfristig stellen sich essentielle Fragen zur Konstruktion von KI-Systemen. Muss Rationalität explizit in das Modell einprogrammiert werden? Oder lassen sich durch vorsichtige Prompt-Auswahl und zusätzliche Kontrollmechanismen kognitive Verzerrungen ausgleichen?
Ein vielversprechender Ansatz liegt in der Kombination von LLMs mit externen Entscheidungsframeworks. Beispielsweise könnten KI-Systeme bei riskanten Entscheidungen auf regelbasierte Module zurückgreifen, die unabhängig vom Sprachmodell agieren und stichfeste Entscheidungen ableiten. IBM Research arbeitet derzeit an hybriden Architekturen dieser Art, die Entscheidungslogik in kontrollierten Kanälen halten (Quelle: IBM Research Europe, 2024).
Zudem beginnt sich eine neue Forschungsrichtung zu etablieren: Computational Rationality. Hier wird versucht, KI so zu gestalten, dass sie unter realweltlichen Bedingungen menschlich-rationale Reaktionen im Sinne einer optimierten Kosten-Nutzen-Relation zeigt. Eine ETH-Studie (März 2024) zeigte, dass LLMs durch gezielte Meta-Prompting-Techniken zu konsistenterem Entscheidungsverhalten gebracht werden können (Reduzierung irrationaler Entscheidungen um 31 %, Quelle: AI Proceedings Switzerland).
Fazit: Vertrauen ist gut – aber rationale Transparenz ist besser
Die Stanford-Studie zeigt eindrücklich: Sprachmodelle können mächtig sein – aber nicht immer rational. In risikobehafteten Szenarien zeigen viele von ihnen menschlich anmutende Schwächen. Das ist faszinierend, aber auch besorgniserregend. Denn mit steigender Integration solcher Systeme in die Entscheidungsprozesse von Behörden, Militär, Medizin oder Wirtschaft wächst auch das Gefahrenpotenzial fehlerhafter Ausgaben.
Entwickler, Regulierer und Anwender müssen die Rationalität von KI-Systemen messbar machen, testen und zertifizieren. Eine KI, die in der Lotterie ihr Glück versucht, ist kein verlässlicher Partner in kritischen Kontexten.
Diskutieren Sie mit: Wie rational sollte künstliche Intelligenz sein? Welche Anforderungen stellen Sie an KI in sicherheitsrelevanten Bereichen? Schreiben Sie uns in den Kommentaren oder über unsere Community-Plattform TechForum.de.
