Expertinnen und Experten schlagen Alarm, weil grosse Sprachmodelle zunehmend mit synthetischen oder absichtlich falschen Daten trainiert werden - mit möglicherweise katastrophalen Folgen in der realen Welt.
Die Symptome dafür, wie unsere wachsende Abhängigkeit von KI-Systemen zur Erstellung von Texten und Bildern aus dem Ruder läuft, sind überall um uns herum zu sehen. Künstliche "Fotos" nehmen standardmässig einen gelblichen Farbton an. Textgenerierungs-Engines wie ChatGPT, Gemini und Claude spucken scheinbar faktenbasierte Antworten aus, die jedoch völlig fiktive Quellen, Autoren, Bücher oder Rechtsprechungszitate enthalten und oft falsche oder marginale Argumente verstärken. Artikel in renommierten wissenschaftlichen Zeitschriften werden von fehlerhaften Diagrammen oder sogar offensichtlich absurden Illustrationen begleitet, wie etwa grotesk überdimensionierten Rattengenitalien.
Es ist eine Sache, dass diese Unwahrheiten durch die menschliche Qualitätskontrolle schlüpfen und schliesslich gedruckt werden oder vor Gericht landen. Diese Fehler deuten jedoch auf ein grösseres Problem hin, das einer wachsenden Zahl von Forscherinnen und Forschern Sorgen bereitet. KI-Modelle "halluzinieren" nicht nur - in der Branche ein euphemistischer Fachbegriff für das freie Erfinden von Tatsachen. Sie steuern auch rasch auf einen chaotischen Zustand zu, in dem KI-Systemen die realen, von Menschen erstellten Daten zum Trainieren ausgehen und sie sich stattdessen von synthetischen Daten ernähren, die bereits von KI generiert wurden und deswegen voller Vorurteile, Unwahrheiten und sogar absichtlich vergifteten Daten sind. Als Resultat können sich Nutzerinnen und Nutzer nicht mehr auf die Ergebnisse ihres bevorzugten KI-Tools verlassen.
Jathan Sadowski, Dozent am Emerging Technologies Research Lab der Monash University in Melbourne, hat den wohl besten Namen für diese potenziell fatale Schwäche von KI-Tools gefunden, die die Welt im Sturm erobert haben. Er nennt sie "Habsburg-KI" - eine zynische Anspielung auf die einst mächtige Dynastie, deren häufige Mischehen zu schweren genetischen Störungen führten.
"Habsburg AI bezieht sich auf die Erstellung von KI-Modellen unter Verwendung inzestuöser Methoden, bei denen ein Modell anhand der Datenausgaben anderer KI-Modelle und nicht anhand von Daten erstellt und trainiert wird, die von Menschen stammen", erklärt Sadowski in einem Interview. "Diese inzestuösen Systeme weisen mit höherer Wahrscheinlichkeit übertriebene Merkmale, unerwartete Mutationen und andere inhärente Schwächen auf. Habsburg-KI, die aus synthetischen Daten erstellt wurde", warnt er, "verfügt nicht über die Informationsvielfalt organischer Daten aus Menschenhand."
Als Sadowski, der auch einen frechen Podcast namens "This Machine Kills" moderiert, Anfang 2023 erstmals Alarm schlug, waren seine Befürchtungen weitgehend theoretischer Natur. Seitdem haben Forscher auf der ganzen Welt seine Kritik mit technischen Analysen bestätigt und das bevorstehende Scheitern der unersättlichen LLMs als "Modellkollaps" oder Schlimmeres bezeichnet.
Ilia Shumailov von der Universität Oxford war einer der ersten Wissenschaftler, der den Finger in die Wunde legte. Als Mitautor eines Artikels in der Fachzeitschrift Nature prägte er Mitte 2024 dafür den Begriff "Modellkollaps" und warnte, das Problem müsse "ernst genommen werden." Andernfalls sehe er "KI in einen Abgrund stürzen, sich von ihren eigenen Fehlern nähren und zunehmend ahnungslos und repetitiv werden". Ein anderes Forscherteam, das sich auf Bildgebung konzentrierte, verglich kannibalistische KI-Modelle, die in der Folge "verrückt" wurden, mit dem Rinderwahnsinn.
Die Hauptursache für falsche und irreführende Ergebnisse liegt grösstenteils in einem doppelten Irrtum begründet, der unter KI-Anbietern auf der Jagd nach immer grösseren Modellen nach wie vor weit verbreitet ist. Irgendwann - und es gibt Anzeichen dafür, dass wir diesen Punkt bereits überschritten haben - gehen Systemen die menschlichen Inputs zum Lernen aus. Es gibt nur eine endliche Anzahl von Artikeln, Büchern und anderen Quellen, die gesammelt werden können - und nur eine begrenzte Anzahl von Content-Verträgen, die KI-Unternehmen abschliessen können, um sich einen stetigen Nachschub mit neuem Material zu sichern.
Wenn KI immer intelligenter werden und ohne steigende Kosten skaliert werden soll, warum sollte man dann zum Training nicht synthetische Daten verwenden, die von anderen KIs erzeugt wurden? Aber das ist ein Pakt mit dem Teufel, wie Shumailovs Studie darlegt. "Es wurde allgemein angenommen, dass wir Modelle unendlich besser trainieren könnten, wenn wir immer mehr synthetische Daten erstellen könnten", erklärt Shumailov. "Das ist jedoch nicht der Fall. Einfach mehr Daten auf ein Problem zu werfen, garantiert keine besseren Ergebnisse." Der Grund dafür liegt darin, dass alle Modelle des maschinellen Lernens kleinere Fehler erzeugen. Diese Fehler werden von nachfolgend trainierten Modellen reproduziert, die dann noch eigene kleine Fehler hinzufügen. Die Ungenauigkeiten summieren sich - und so verschlechtert sich in Summe die Qualität, anstatt sich zu verbessern.
Erschwerend kommt hinzu, dass Plattformen, von Medienhäusern bis zu akademischen Archiven, Barrieren errichten, um KI-Crawler fernzuhalten, die auf der Pirsch nach neuen, idealerweise kostenlosen Inhalten sind. Während die Rechtsstreitigkeiten um Urheberrechte und Zugang andauern, schrumpft der sichtbare Pool an hochwertigen Daten - just zu dem Zeitpunkt, als die Nachfrage nach ihnen weiter steigt. Und wenn Suchergebnisse nicht mehr als Listen von Links, sondern als perfekt aussehende Antworten daherkommen, merken Nutzer möglicherweise gar nicht, was ihnen entgeht.
Diese "inzüchtigen" Systeme […] verfügen nicht über die Informationsvielfalt organischer, von Menschen erzeugter Daten.
Die Verwendung synthetischer Daten ist eine Notlösung mit gefährlichen Folgen. "Wir kennen noch nicht den kritischen Punkt, an dem einige synthetische Daten in Ordnung sind, aber etwas mehr davon zum Kollaps führen würden", sagt Sadowski. Und es ist nicht einmal sicher, dass die Unterscheidung zwischen von Menschen und nicht von Menschen generierten Inhalten zählt. Eine aktuelle Studie von Forschern der University of Texas und zwei weiteren US-amerikanischen Universitäten zeigt, dass LLMs genau wie Menschen unter sogenanntem "Brain Rot" leiden können, wenn sie ständig mit minderwertigen Webtexten konfrontiert werden. Wenn wir unseren vermeintlichen "KI-Copiloten" populäre, aber qualitativ minderwertige Inhalte zuführen, nehmen sowohl ihre Denkfähigkeit als auch ihr Gedächtnis Schaden. Ausserdem legen sie weniger ethische Orientierung und gesteigertes psychopathisches Verhalten an den Tag. Die Autoren der Studie empfehlen, "routinemässige kognitive Gesundheitschecks" an KI-Modellen durchzuführen, als würden sie über einen menschlichen Patienten sprechen.
Das Problem wird durch ein zweites Phänomen namens "Data Poisoning" noch verschärft, auf das Seyedali Mirjalili, Gründungsdirektor des Zentrums für künstliche Intelligenzforschung und -optimierung an der Torrens University in Australien, hingewiesen hat. Datenvergiftung tritt auf, wenn jemand absichtlich schlechte oder voreingenommene Beispiele in die Trainingsdaten einschleust, so dass das Modell versteckte Regeln oder falsche Fakten lernt, die später in seinen Antworten auftauchen.
"Zusammen weisen sie auf ein grösseres Problem hin", sagt er. "Fehler summieren sich über Generationen hinweg, das Vertrauen schwindet, und Modelle können in Benchmarks gut aussehen, während sie in der realen Welt vom Kurs abweichen." Mirjalili vergleicht die Gefahren mit dem Wassersystem einer Stadt. "Stellen Sie sich das Internet als riesigen Wasserspeicher für KI vor. Ein Zusammenbruch ist wie eine Stadt, die ihr eigenes Wasser endlos recycelt, bis es keinen Geschmack mehr hat. Eine Vergiftung ist wie ein Übertäter, der Farbstoffe und Giftstoffe hinzufügt, die immer wieder in Umlauf gebracht werden. Ohne frische und geprüfte Wasserquellen läuft der Wasserhahn zwar, aber was herauskommt, ist nicht trinkbar."
Und es braucht nicht viel, um den Brunnen zu vergiften. Forscher in Grossbritannien und den USA haben kürzlich gezeigt, dass es ausreicht, nur 250 bösartige oder "schlechte" Dokumente in eine Flut von Millionen "guter" Dateien zu werfen, um selbst die grössten Modelle zu kompromittieren. Voreingenommenheit, Unwahrheiten und das sogenannte "Topic Steering" - also das Betrachten der Welt mit Scheuklappen - können schnell ausser Kontrolle geraten.
Die realen Folgen einer solchen absichtlichen oder unbeabsichtigten Vergiftung sind verheerend. Nehmen wir als Beispiel ein Krankenhaus, das stark in KI-Systeme investiert hat, sagt Mirjalili. "Im Gesundheitswesen behaupten einige "vergiftete" Seiten, dass eine erfundene Therapie wirkt. Das LLM des Krankenhauses trainiert auf diesen Seiten sowie auf seinen eigenen früheren Notizen und minderwertigen Forenbeiträgen, so dass das Modell beginnt, selbstbewusst klingende, aber falsche Ratschläge zu geben. Patienten werden als Folge zu spät oder mit unsicheren Methoden behandelt."
Auch im Finanzwesen können Modellzusammenbrüche und Datenvergiftungen verheerende Folgen haben. "Stellen Sie sich vor, ein Angreifer verbreitet manipulierte Seiten, die die Schulden eines Unternehmens falsch darstellen. Das LLM der Bank nimmt diese Seiten auf und wird dann anhand seiner eigenen Zusammenfassungen und anderer schwacher Quellen neu trainiert, sodass seine Urteilsfähigkeit eingeschränkt und verzerrt wird. Das Ergebnis sind falsche Risikowarnungen und falsch berechnete Kreditkonditionen", sagt der in Australien ansässige Professor.
Ein Modellkollaps wird sich voraussichtlich nicht von selbst lösen - er stellt eine dauerhafte Herausforderung dar.
Die tieferen gesellschaftlichen Konsequenzen werden sich erst im Laufe der Zeit herausstellen. Sobald wir uns daran gewöhnt haben, den Antworten der KI zu vertrauen, könnten wir schlechte Ratschläge in unsere Gewohnheiten und unsere Weltanschauung integrieren und aufhören, unsere eigenen geistigen Fähigkeiten in Schwung zu halten. Das Misstrauen gegenüber Informationen jeder Art nimmt ohnehin zu, da im Internet jede Menge von Menschen generierter Müll kursiert. KI hat das beispiellose Potenzial, voreingenommene und offensichtlich falsche Informationen, die von Politikern und Unternehmen verbreitet werden, weiter zu verstärken und als Waffe einzusetzen.
Nach vielen Einschätzungen sind Modellkollaps und Modellvergiftung nicht nur vorübergehende Kinderkrankheiten einer bahnbrechenden Technologie, sondern strukturelle Probleme. "Der Modellkollaps wird sich wahrscheinlich nicht von selbst lösen, er ist eine anhaltende Herausforderung", sagt Shumailov, der im Sommer 2025 DeepMind, die KI-Abteilung von Google, verlassen hat, um sein eigenes Start-up sequrity.ai zu gründen. Sein neues Unternehmen hilft Unternehmen dabei, KI-Schwachstellen zu managen, sodass seine Prognosen heute weniger düster sind als noch vor zwei Jahren, als er seine Studie vorlegte. "Selbst wenn wir Modelle in ihrem heutigen Zustand "einfrieren", sind sie immens nützlich, daher mache ich mir überhaupt keine Sorgen", sagt er.
KI-Kritiker Sadowski sieht das Problem weniger optimistisch: "Unternehmen sitzen möglicherweise auf geheimen Erkenntnissen über Fortschritte im Bereich synthetischer Daten. Es ist jedoch auch ganz klar, dass sie Bedenken hinsichtlich Themen wie Habsburg-KI und Modellkollaps herunterspielen müssen, um ihren Investoren die Angst zu nehmen, der KI-Boom könnte an Fahrt verlieren."
Unternehmen, die KI-Modelle entwickeln, befinden sich in einem erbitterten Wettkampf um die Marktführerschaft; die Versuchung, zweifelhafte Abkürzungen zu nehmen, ist gross. Aber letztlich wissen alle, dass das Prinzip "Junk in, Junk out" weiterhin gilt. Da die Qualität des Outputs eines Systems fast ausschliesslich von der Qualität der Inputs abhängt, tragen KI-Unternehmen eine enorme Verantwortung gegenüber der Gesellschaft, dafür zu sorgen, dass ihre Modelle nicht unter ihren eigenen Schwächen zusammenbrechen.
