Künstliche Intelligenz beeindruckt täglich mit ihrer Fähigkeit, Texte zu generieren – doch oft ist der Output inhaltlich fragwürdig oder schlichtweg Unsinn. Forscher der Princeton University haben nun ein Werkzeug entwickelt, das genau diesen ‚Bullshit‘-Faktor messbar macht. Der sogenannte Bullshit-Index soll helfen, vertrauenswürdige von inhaltlich wertloser KI-Kommunikation zu unterscheiden.
Warum wir der KI nicht blind vertrauen sollten
Seit dem Siegeszug von Large Language Models (LLMs) wie GPT-4, Claude oder Llama 3 stellt sich die Frage nicht nur nach der Leistungsfähigkeit, sondern auch nach der Zuverlässigkeit der von KI generierten Inhalte. Besonders problematisch ist die Fähigkeit dieser Modelle, mit hoher sprachlicher Überzeugungskraft Falschaussagen oder komplett erfundene Inhalte zu präsentieren – ein Phänomen, das in der KI-Forschung unter dem Begriff „halluzinieren“ bekannt ist.
Laut einer Analyse der Stanford University zu GPT-4 halluziniert das System bei komplexen Aufgaben in über 20 % der Fälle (Quelle: Stanford Center for Research on Foundation Models, Juni 2024). Dies stellt insbesondere im Bildungswesen, Journalismus oder im rechtlichen Umfeld ein ernstzunehmendes Risiko dar.
Was ist der Bullshit-Index?
Ein Team um die Informatikprofessorin Arvind Narayanan von der Princeton University entwickelte den sogenannten Bullshit-Index („BS Index“) – ein quantitatives Maß zur Einschätzung, ob ein mit Hilfe von KI generierter Text echt informative Substanz enthält oder lediglich überzeugend klingender Unsinn ist.
Der Ansatz, den die Forscher im Fachjournal arXiv (
