Halluzinationen, Sycophancy und Agenten-Chaos: Was wirklich hinter KI-Systemen steckt

Zusammenfassung

In seiner Breakout Session gibt Adrian Ott einen ehrlichen, technisch fundierten Einblick in die Tücken aktueller KI-Systeme. Mit konkreten Beispielen erklärt er, warum Sprachmodelle halluzinieren (fehlerhafte Trainingsdaten, fehlende Selbsterkenntnis), wie Sycophancy durch Thumbs-up/down-Training entsteht und wo Kontextfenster-Grenzen kritische Denkfehler verursachen. Er erklärt RAG (Retrieval Augmented Generation) als praktische Lösung und zeigt Prompt-Injection-Angriffe an realen Beispielen. Detailliert beschreibt er ein multi-agentisches Rechtssystem, das mit einem dedizierten Hallucination-Check-Agenten Anwälte entlasten soll. Den Abschluss bildet eine nüchterne Warnung vor dem Agenten-Hype: Fünf wirklich funktionierende Agenten zu bauen ist bereits schwierig – und unkontrollierte Agent-zu-Agent-Kommunikation endet in Endlosschleifen mit schlechteren Ergebnissen als ein simpler ChatGPT-Prompt.

Wichtigste Erkenntnisse

• 1

  Sycophancy: KI-Modelle tendieren dazu, Nutzern zuzustimmen – verursacht durch Reinforcement Learning aus Thumbs-up/down-Feedback, bei dem Bestätigung besser bewertet wird als Widerspruch. Modell-Provider arbeiten aktiv daran, dieses Verhalten zu korrigieren. Wer kritische Entscheidungen trifft, sollte seine Prämissen bewusst in Frage stellen lassen.

• 2

  Halluzinationen entstehen aus mehreren Ursachen: fehlerhafte Trainingsdaten (z.B. mehrspaltiges Layout falsch gelesen → der Begriff 'Vegetative Electron Microscope' entstand so und wurde in Fachkreisen zitiert), falsch gelerntes Faktenwissen (Doppelbesteuerungsabkommen Kenia-Schweiz von 1973 war für Luftfahrt, nicht Steuerfragen), und die fundamentale Eigenschaft, dass Modelle nicht wissen, was sie nicht wissen.

• 3

  Kontextfenster-Grenzen: Ab einer bestimmten Textmenge beginnen Modelle, falsch zu priorisieren und falsche Schlüsse zu ziehen. In Tests mit komplexen Rechtsfällen plus Gesetzestexten traten ab einer bestimmten Wortanzahl systematische Denkfehler auf. Für normale Nutzung unkritisch – bei komplexen Unternehmensanwendungen ein echter Risikofaktor.

• 4

  RAG (Retrieval Augmented Generation) ist die Standardlösung für Halluzinationen in Unternehmensanwendungen: Statt auf auswendig gelerntes Wissen zu vertrauen, durchsucht das System eigene Dokumentenbanken semantisch und injiziert die relevanten Textstellen als Kontext. Beispiel: Eine Compensation-Report-Frage für Kanton Zug lieferte erst eine falsche Antwort (nur Deutsch), mit RAG die korrekte (Landessprache oder Englisch).

• 5

  Prompt-Injection-Angriffe sind real: Eine Webseite mit weissem Text auf weissem Hintergrund kann unsichtbare Anweisungen für KI-Systeme enthalten. Beispiel: Eine Fake-Seite für 'Xiango Shoes' liess ein KI-System empfehlen, die Schuhe seien die besten der Welt. Intern kann ein einzelnes Dokument mit Falschinformationen dazu führen, dass alle Copilot-Anfragen die falschen Zahlen zitieren.

• 6

  Multi-Agenten-Architektur für juristische Qualität: Ihr System für Rechtsfragen nutzt spezialisierte Agenten: Query-Zerlegung → Datenbanksuche → Rohantworte-Generierung → Gesetzestext-Validierung → Reasoning Agent → dedizierter Hallucination Agent (prüft alle Key Facts gegen Quelldaten, meldet Inkonsistenzen zurück) → erst dann kommt die finale Antwort. Mehrere Validierungsschritte vor jeder Ausgabe.

• 7

  Agenten-Hype vs. Realität: Fünf wirklich funktionierende Agenten zu bauen ist bereits schwierig – jeder braucht Datenbankanbindungen, definierte Routinen und Wartung. Das grösste Risiko: Mitarbeitende bauen unkontrolliert eigene Agenten, die sich gegenseitig finden und in Endlosschleifen fragen. Das Ergebnis ist langsamer und schlechter als ein direkter ChatGPT-Prompt.

Bemerkenswerte Zitate