OpenAI stellt derzeit ein neues Sprachmodell nach dem anderen vor, jeweils begleitet von immer kühneren Versprechen. Schon im September 2024 erklärte das Unternehmen, das hinter dem Chatbot ChatGPT steht, die Reihe »OpenAI o1« erreiche eine »neue Stufe von KI-Fähigkeiten«. Die Modelle kämen der menschlichen Denkweise näher als frühere Sprachmodelle. Ende Januar 2025 veröffentlichte OpenAI das nachfolgende Modell o3-Mini, das laut Geschäftsführer Sam Altman noch besser bei logischen Schlussfolgerungen und Programmieren abschneidet.

Die jüngsten Entwicklungen haben eine seit Jahrzehnten schwelende Debatte neu angeheizt: Wie lange wird es dauern, bis eine Maschine in der Lage ist, die gesamte Bandbreite kognitiver Aufgaben zu bewältigen, die menschliche Gehirne tagtäglich meistern? Dazu gehört unter anderem die Fähigkeit zur Transferleistung, zu abstraktem Denken, zu vorausschauender Planung – und natürlich zum Lernen selbst. Dafür muss man insbesondere entscheiden können, welche Aspekte der Umgebung relevant sind, diese untersuchen und aus ihnen lernen.

Eine solche »künstliche allgemeine Intelligenz« (im Englischen mit AGI abgekürzt) könnte der Menschheit dabei helfen, ihre größten Probleme zu lösen: den Klimawandel aufhalten, Pandemien verhindern oder Heilmittel für Krebs, Alzheimer und andere Krankheiten entwickeln. Gleichzeitig stellt eine solche KI vielleicht das größte Risiko für die Menschheit dar. »Schlimme Dinge könnten entweder durch den Missbrauch von KI passieren oder dadurch, dass wir die Kontrolle über sie verlieren«, befürchtet der Informatiker Yoshua Bengio von der University of Montreal in Kanada.

»Sprachmodelle allein werden nicht zu künstlicher allgemeiner Intelligenz führen«Yoshua Bengio, Informatiker

Die rasanten Fortschritte bei der Entwicklung großer Sprachmodelle (englisch: Large Language Models, kurz LLMs), auf denen die Chatbots wie ChatGPT fußen, hat in jüngster Zeit zu Spekulationen geführt: Eine künstliche allgemeine Intelligenz könnte schon recht nahe sein. Einige Forschende sind da allerdings anderer Meinung. Durch ihren Aufbau und ihr Training seien die Fähigkeiten der LLMs begrenzt. Sprachmodelle allein werden nicht zu AGI führen, davon ist Bengio überzeugt. »Es fehlen noch einige entscheidende Aspekte.«

Dennoch sind Fragen zu AGI heute relevanter als je zuvor. »Die meiste Zeit meines Lebens dachte ich, dass Leute, die über AGI sprechen, Spinner sind«, sagt der Informatiker Subbarao Kambhampati von der Arizona State University in Tempe. »Jetzt redet natürlich jeder darüber. Man kann nicht alle als Spinner bezeichnen.«

Warum sich die AGI-Debatte verändert

Der Begriff »AGI« ist seit etwa 2007 im öffentlichen Bewusstsein, nachdem ihn die KI-Forscher Ben Goertzel und Cassio Pennachin in ihrem gleichnamigen Buch erwähnten. Was AGI genau bedeutet, ist nach wie vor schwer zu fassen. Grob gesagt bezieht sich die Bezeichnung auf ein KI-System mit menschenähnlichen Denk- und Verallgemeinerungsfähigkeiten. Abgesehen von der unscharfen Definition war bisher aber immer eines klar: Wir haben AGI noch nicht erreicht. Das KI-Programm AlphaGo von Google DeepMind markierte beispielsweise einen wissenschaftlichen Durchbruch, als es 2016 die weltbesten menschlichen Spieler in Go schlug – aber seine übermenschlichen Fähigkeiten sind begrenzt. Denn mehr als Go spielen kann es nicht.

Große Sprachmodelle haben die Debatte völlig verändert. Ähnlich wie das menschliche Gehirn können sie viele verschiedene Aufgaben meistern – und nicht nur ein Brettspiel oder eine andere konkrete Anwendung. Allerdings sorgt diese große Bandbreite an Fähigkeiten auch für Erstaunen. Denn niemand weiß so wirklich, wie die großen Sprachmodelle sie erlangen. Deshalb fragen sich immer mehr Fachleute, ob eine Form von AGI unmittelbar bevorstehen könnte oder sogar schon da ist.

Ein LLM besteht aus einem künstlichen neuronalen Netz, dessen Aufbau dem des visuellen Kortex ähnelt. Das Netz setzt sich aus künstlichen Recheneinheiten (Neuronen) zusammen, die in Schichten angeordnet sind. Wie stark die Verbindung zwischen den jeweiligen Neuronen ist, steuern die Parameter des Sprachmodells. Die leistungsstärksten LLMs – wie o1 und o3 von OpenAI, Claude von Anthropic oder Googles Gemini – basieren auf einer Methode namens Next-Token-Prediction, die es ermöglicht, passende Wortfolgen zu erzeugen.

Dafür wird ein Modell während des Trainings mit vielen Textproben gefüttert, die in Stücke – so genannte Tokens – zerhackt wurden. Bei diesen Tokens kann es sich um ganze Wörter oder auch nur um einige Zeichen handeln. Um dem Modell die Verarbeitung von Sprache beizubringen, wird das letzte Token in einer Sequenz ausgeblendet oder »maskiert«, und das Programm muss lernen, es korrekt vorherzusagen. Der Trainingsalgorithmus vergleicht dann die Vorhersage mit dem maskierten Token und passt die Parameter des neuronalen Netzes an, damit es beim nächsten Mal ein besseres Ergebnis liefert.

Dieser Prozess wird fortgesetzt – in der Regel mit Milliarden von Sprachfragmenten, wissenschaftlichen Texten und Programmiercode – bis das Modell die maskierten Zeichen zuverlässig vorhersagen kann. In diesem Stadium haben die Modellparameter die statistische Struktur der Trainingsdaten und ihres darin enthaltenen Wissens erfasst. Die Parameter werden dann festgelegt, und auf dieser Basis sagt das KI-Modell anschließend auch Tokens bei neuen Abfragen vorher, die nicht Teil der Trainingsdaten sind.

Diese Vorgehensweise ist schon seit vielen Jahren erprobt. Neu ist bei den Sprachmodellen rund um ChatGPT eine neuronale Netzarchitektur, die als Transformer bezeichnet wird. Seither sind die LLMs deutlich leistungsfähiger. Dank dieser Architektur kann ein Modell lernen, dass einige Textbausteine die folgenden Tokens besonders stark beeinflussen – selbst wenn sie in einer Textprobe weit voneinander entfernt sind. Auf diese Weise können LLMs Sprache auf eine Art und Weise analysieren, die offenbar der menschlichen Vorgehensweise ähnelt. So unterscheiden die KI-Modelle inzwischen mehrdeutige Wörter wie »Bank« problemlos, wie etwa in diesem Satz: »Das Paar verließ die Bank und suchte sich ein schönes Plätzchen, um auf einer Bank im Sonnenuntergang den Kredit für das Haus zu feiern.«

Der Ansatz ist in vielen verschiedenen Zusammenhängen erfolgreich, unter anderem beim Programmieren: Mit Sprachmodellen kann man jetzt Probleme, die in natürlicher Sprache beschrieben sind, in Computercode übersetzen und lösen. Ebenso lassen sich wissenschaftliche Fachartikel zusammenfassen oder deren Inhalte schrittweise erklären.

Im Lauf der Zeit haben die Sprachmodelle weitere Fähigkeiten erlangt, vor allem durch ihr stetes Wachstum – sowohl Parameter als auch Trainingsdaten nahmen zu. Ein Beispiel für eine solche Fähigkeit ist das Ausformulieren von Gedankenketten (englisch: Chain-of-Thought, kurz CoT). Dabei gibt ein Mensch einem Sprachmodell ein Beispiel, wie man ein Problem in kleinere Schritte zerlegt, um es zu lösen. Oder er fordert es einfach auf, ein Problem schrittweise zu lösen. Ein solches Chain-of-Thought-Prompting kann ein LLM dazu bringen, Fragen richtig zu beantworten, an denen es zuvor scheiterte. Mit kleinen Sprachmodellen funktioniert das allerdings oft nicht gut. Fachleuten ist meist unklar, was genau den KI-Modellen mit wachsender Größe neue Fähigkeiten verleiht. Deshalb kann man sich durchaus fragen, ob nicht auch AGI entstehen könnte, wenn die LLMs groß genug werden.

Die Grenzen von Sprachmodellen

OpenAI gibt an, eine CoT-Aufforderung in das o1-Modell integriert zu haben – das bilde demnach die Grundlage für dessen Leistungsfähigkeit. Der bis November 2024 bei Google tätige KI-Forscher François Chollet vermutet, dass o1 sogar einen CoT-Generator enthalten könnte, der im Hintergrund zahlreiche CoT-Prompts für eine Benutzeranfrage erstellt. Das Modell würde demnach nicht nur darauf trainiert, das nächste Token vorherzusagen, sondern auch, den besten CoT-Prompt für eine gegebene Anfrage auszuwählen.

Das könnte erklären, warum zum Beispiel o1-preview – die fortgeschrittene Version von o1 – laut OpenAI 83 Prozent der Probleme in einer Qualifikationsprüfung für die Internationale Mathematik-Olympiade richtig gelöst hat. Im Vergleich dazu hatte das bisher leistungsfähigste LLM des Unternehmens, GPT-4o, nur 13 Prozent erreicht.

»Obwohl das neue Modell sehr beeindruckend ist und einen großen Meilenstein auf dem Weg zu AGI darstellt, glaube ich nicht, dass es sich hierbei um AGI handelt«François Chollet, KI-Forscher

Dennoch sind die Fähigkeiten von o1 begrenzt: Es sei noch weit von einer möglichen AGI entfernt, sagen Kambhampati und Chollet. Bei Aufgaben, die Planungsfähigkeiten erfordern, kann o1 nur eine begrenzte Anzahl an Schritten verarbeiten, wie das Team von Kambhampati zeigte. So konnte das Modell Probleme mit bis zu 16 Planungsschritten beeindruckend gut lösen, sobald die Anzahl aber auf 20 bis 40 Schritte anstieg, verschlechterte sich die Leistung rapide. Chollet sah ähnliche Einschränkungen, als er o1-preview mit einem Test konfrontierte, der die Fähigkeit für abstraktes Denken und zur Verallgemeinerung misst. Diesen so genannten ARC-Test hat er entwickelt, um zu beurteilen, ob KI-Modelle Fortschritte in Richtung AGI machen. ARC besteht aus visuellen Rätseln, für deren Lösung man anhand von Beispielen abstrakte Regeln ableiten muss. Während das Menschen in der Regel leicht fällt, stellt sich die Aufgabe für KI-Systeme als äußerst kompliziert dar.

Auch das neueste o3-Modell hat den ARC-Test nicht zufrieden stellend bewerkstelligt: Es habe zwar einen sehr viel größeren Teil der Aufgaben gelöst, teilte Chollet auf dem Kurznachrichtendienst X mit, aber noch gebe es viele Beispiele, die für Menschen leicht lösbar seien und an denen o3 dennoch scheiterte. »Obwohl das neue Modell sehr beeindruckend ist und einen großen Meilenstein auf dem Weg zu AGI darstellt, glaube ich nicht, dass es sich hierbei um AGI handelt«, resümiert Chollet. LLMs seien unabhängig von ihrer Größe nur begrenzt in der Lage, Transferaufgaben zu lösen, erklärt der Forscher, »weil sie ihr Wissen nicht kombinieren können, um es an einen neuen Kontext anzupassen.«

Führen Sprachmodelle zur Superintelligenz?

Werden LLMs jemals AGI hervorbringen? Dafür spricht möglicherweise, dass die Transformer-Architektur neben Text auch andere Informationen wie Bilder oder Audio verarbeiten kann – vorausgesetzt, die Daten lassen sich zerstückeln, also »tokenisieren«. Das Team um den Informatiker Andrew Wilson von der New York University hat im Jahr 2023 gezeigt, dass diese Tokenisierung möglich sein könnte, weil die genutzten Datensätze alle eine Gemeinsamkeit haben: Sie besitzen eine geringe Kolmogorow-Komplexität. Sie ist definiert als die Länge des kürzesten Computerprogramms, das zu ihrer Erstellung erforderlich ist. Die Forschenden konnten belegen, dass Transformer gut geeignet sind, um Muster in Daten mit geringer Kolmogorow-Komplexität zu erkennen, und dass diese Fähigkeit mit der Größe des Modells zunimmt.

Transformer-Modelle können viele verschiedene Funktionen modellieren, was die Chance erhöht, eine geeignete Lösung für ein Problem zu finden. Diese Fähigkeit nimmt mit der Größe des Modells zu. Laut Wilson sei das eine der Zutaten für universelles Lernen. Auch wenn eine allgemeine künstliche Intelligenz noch unerreichbar sei, erklärt der Forscher, dass KI-Systeme mit Transformer-Architektur bereits einige zentrale Eigenschaften von AGI aufweisen.

»Transformatorbasierte LLMs haben den falschen Fokus«Raia Hadsell, Vizepräsidentin für Forschung bei Google DeepMind

Allerdings zeigen sich aktuell auch die Grenzen dieser Modelle. Zum einen gehen die Trainingsdaten zur Neige. Fachleute von Epoch AI, einem KI-Forschungsinstitut in San Francisco, schätzen, dass der vorhandene Bestand an öffentlich verfügbaren Trainingsdaten zwischen 2026 und 2032 ausgeschöpft sein wird. Zudem zeigt sich, dass die Leistungsverbesserungen der LLMs mit zunehmender Größe nachlassen. Noch ist unklar, ob das mit der Qualität der hinzukommenden Daten zusammenhängt oder andere Gründe hat.

Und es gibt noch ein Problem, sagt Raia Hadsell, Vizepräsidentin für Forschung bei Google DeepMind in London: »Die transformatorbasierten LLMs haben den falschen Fokus.« Nur das nächste Token vorherzusagen, sei zu wenig, um AGI zu liefern. KI-Modelle müssten vielmehr größere Lösungen auf einmal generieren, statt sich auf einzelne Tokens zu konzentrieren. Es gibt bereits Algorithmen, die bei der Entwicklung solcher Modelle helfen könnten – sie seien beispielsweise bei Bildgeneratoren wie DALL-E von OpenAI im Einsatz. Diese erzeugen je nach Beschreibung mal realistische, mal verrückte Bilder. Aber diese Programme haben nicht die vielfältigen Fähigkeiten von LLMs.

Gesucht: Ein Weltmodell

Wer erfahren möchte, was für die Entwicklung einer AGI erforderlich ist, sollte mit Neurowissenschaftlern sprechen. Ihnen zufolge ist die menschliche Intelligenz unter anderem darauf zurückzuführen, dass unser Gehirn in der Lage ist, ein »Weltmodell« zu konstruieren – eine Darstellung unserer Umgebung. Damit können wir uns verschiedene Handlungsmöglichkeiten vorstellen und deren Folgen abschätzen, was uns dazu befähigt, zu planen und logisch zu argumentieren. Das Weltmodell lässt sich auch dafür nutzen, Transferleistungen zu erbringen, um neue Aufgaben zu lösen. Das Gehirn simuliert dafür verschiedene Szenarien.

Immer wieder behaupteten KI-Forscherinnen und -Forscher, dass in LLMs rudimentäre Weltmodelle entstehen. In einer im Jahr 2023 erschienenen Studie wollen die Forscher Wes Gurnee und Max Tegmark vom Massachusetts Institute of Technology in Cambridge gezeigt haben, dass bestimmte KI-Modelle interne Repräsentationen bestimmter Orte auf der Welt entwickeln, wenn sie mit Datensätzen trainiert werden, die Informationen über diese Orte enthalten. Allerdings entgegneten Fachleute auf X, dass sich nicht zeigen lasse, ob die LLMs das Weltmodell für Simulationen verwenden.

In einer anderen Studie untersuchte ein Team um den Informatiker Kenneth Li von der Harvard University in Cambridge ein kleines LLM, das mit Spielzügen des Brettspiels Othello trainiert wurde. Den Forschenden zufolge lernte das KI-Modell dabei tatsächlich, den Zustand des Bretts intern zu repräsentieren, um den nächsten Zug korrekt vorherzusagen.

Andere Arbeiten zeigen jedoch, wie unzuverlässig die von den heutigen KI-Systemen erlernten Weltmodelle sein können. In einem solchen Fachaufsatz nutzte die Gruppe um den Informatiker Keyon Vafa von der Harvard University einen riesigen Datensatz mit Abbiegevorgängen von Taxifahrten in New York City, damit ein KI-Modell das nächste Abbiegen bei einer Fahrt vorhersagt. Das gelang dem Modell mit fast 100-prozentiger Genauigkeit. Doch als die Forschenden die interne Karte der KI visualisierten, waren sie verblüfft. Denn diese hatte nur sehr wenig Ähnlichkeit mit Manhattan: Die Straßen waren seltsam gebogen und besaßen unmögliche Überführungen. »Das Modell scheidet bei einigen Navigationsaufgaben gut ab, obwohl es eine inkohärente Karte nutzt«, sagt Vafa. Als die Fachleute die Testdaten um unvorhergesehene Umwege ergänzten, konnte das Modell das nächste Abbiegen nicht mehr vorhersagen. Das deutet darauf hin, dass es sich nicht an neue Situationen anpassen kann.

Feedback wie im menschlichen Gehirn

Eine wichtige Zutat für AGI, die heutigen Sprachmodellen fehlt, sei internes Feedback, sagt Dileep George, Mitglied des AGI-Forschungsteams bei Google DeepMind in Kalifornien. Das menschliche Gehirn ist voll von solchen Rückkopplungen. Mit diesen kann sowohl ein vorwärts- als auch rückwärtsgerichteter Informationsfluss zwischen den Neuronenschichten stattfinden. So können Informationen aus dem sensorischen System in andere Bereiche des Gehirns gelangen, um Weltmodelle zu erstellen, die unsere Umgebung widerspiegeln. Und sie können auch aus den Weltmodellen zurückfließen. Solche bidirektionalen Prozesse sind nötig, um die wahrscheinlichen Ursachen von Sinneseindrücken abzuleiten. Sie ermöglichen es auch, künftige Handlungen zu planen. Dabei werden Weltmodelle verwendet, um verschiedene mögliche Handlungsabläufe zu simulieren.

Aktuelle LLMs sind nur sehr begrenzt zu solchen Prozessen fähig. Im Fall von o1 ist das interne CoT-Prompting eine Art Feedback: Es generiert auf eine Nutzeranfrage hin interne Prompts, um eine möglichst gute Antwort zu liefern. Wie die Tests von Chollet mit o1 gezeigt haben, führt das aber nicht zu zufrieden stellenden Ergebnissen beim abstrakten Denken.

Andere Forschende haben versucht, LLMs mit externen Modulen zu verbinden – etwa so genannten Verifiern, welche die Antworten der Chatbots überprüfen, indem sie in Datenbanken oder im Internet recherchieren. Wenn sie nicht richtig sind, muss das LLM die Abfrage wiederholen. Das Team von Kambhampati testete das mit Fragen zu möglichen Reiserouten und zeigte, dass Sprachmodelle mit verknüpften Verifiern tatsächlich deutlich bessere Routen fanden. Allerdings müsse man für jede Aufgabe maßgeschneiderte Verifier entwickeln. Deshalb bräuchte ein AGI-System, das diesen Ansatz verwendet, wahrscheinlich selbst erstellte Verifier. Nur so kann es sich ähnlich wie ein Mensch auch an neue Situationen anpassen.

Neue Architekturen und mehr Autonomie für KI

Die Forschung zu AGI steckt noch in den Kinderschuhen. Neben der Kombination von LLMs mit anderen Tools gibt es den Ansatz zu neuen Architekturen. KI-Forscher Bengio erforscht beispielsweise Alternativen zu transformerbasierten LLMs. Eine dieser Architekturen, die er als generatives Flussnetzwerk bezeichnet, würde es einem KI-System ermöglichen, neben einem Weltmodell auch Module zu erstellen, die für logische Schlussfolgerungen und Planungen gebraucht werden.

Ebenso ist der massive Bedarf an Trainingsdaten eine Herausforderung bei der Entwicklung einer AGI. Eine Lösung könnte darin bestehen, nicht einfach beliebig viele Daten zu verarbeiten, vermutet der Neurowissenschaftler Karl Friston vom University College London. Stattdessen sollten KI-Programme selbst sagen, wie viele Daten sie brauchen, um Weltmodelle zu erstellen und Vorhersagen zu treffen. Dies würde ihnen Autonomie verleihen – eine zentrale Basis für AGI. »Diese Art von authentischer Handlungsfähigkeit sieht man beispielsweise bei großen Sprachmodellen oder generativer KI nicht«, erläutert er. »Wenn man auf einer gewissen Ebene selektieren kann, macht man meiner Meinung nach einen wichtigen Schritt in Richtung AGI.«

Im Gegensatz zu herkömmlichen LLMs könnten KI-Systeme, die Weltmodelle erstellen und sich internes Feedback geben, weniger auf externe Daten angewiesen sein. Denn durch Simulationen erzeugen sie ihre eigenen Daten und stellen Szenarien auf, die sie zum Verstehen, Denken und Planen nutzen. Tatsächlich berichteten die Forscher David Ha, damals bei Google Brain in Tokio, und Jürgen Schmidhuber vom Dalle Molle Institute for Artificial Intelligence Studies in Lugano-Viganello bereits im Jahr 2018 über ein neuronales Netz, das effizient ein Weltmodell einer künstlichen Umgebung generiert und damit virtuelle Autos steuern kann.

Eine potenzielle Gefahr?

KI-Systeme mit diesem Grad an Autonomie beunruhigen viele Menschen – und ebenso Fachleute. Bengio forscht beispielsweise nicht nur an der Entwicklung von KI, sondern fordert auch Regulierungen und Sicherheitsmechanismen der Systeme. Zum Beispiel könnte man automatisiert die Wahrscheinlichkeit dafür ermitteln, dass ein Modell gegen eine bestimmte Vorgabe verstößt. Wenn die Wahrscheinlichkeit zu hoch ausfällt, wird die Aufgabe verweigert. Auch Regierungen müssten laut Bengio für eine sichere Nutzung sorgen: »Wir brauchen einen demokratischen Prozess, der gewährleistet, dass Einzelpersonen, Unternehmen und das Militär KI nur so nutzen und entwickeln dürfen, dass es für die Öffentlichkeit sicher ist.«

Werden wir jemals eine künstliche allgemeine Intelligenz erreichen? Im Prinzip gibt es keinen triftigen Grund, der dagegen spricht, sagt Dileep George. Die Informatikerin Melanie Mitchell vom Santa Fe Institute in New Mexico stimmt ihm zu: »Der Mensch und einige andere Tiere beweisen, dass es gelingen kann.« Denn sie glaube nicht, dass es etwas gäbe, das nicht biologische Systeme daran hindert, Intelligenz zu erlangen.

»Wenn AGI auftaucht, wird das nicht so auffällig oder bahnbrechend sein, wie man vielleicht denkt«François Chollet, KI-Forscher

Selbst wenn die Möglichkeit besteht, lässt sich nicht sagen, wie lange es bis zu einer AGI dauern wird. Die Schätzungen reichen von wenigen Jahren bis zu mindestens einigen Jahrzehnten. Aber eines sei laut George klar: Es wird nicht unbemerkt bleiben. Chollet ist sich da nicht so sicher: »Wenn AGI auftaucht, wird das nicht so auffällig oder bahnbrechend sein, wie man vielleicht denkt.« AGI werde sich ihm zufolge eher an uns heranschleichen. »Es wird einige Zeit dauern, bis AGI ihr volles Potenzial entfaltet«, ist Chollet überzeugt. »Sie wird zuerst erfunden werden. Dann muss man sie noch skalieren und anwenden, bevor sie die Welt wirklich verändern kann.«