ChatGPT, Claude, Mistral und andere Sprachmodelle sind beeindruckend. Ich nutze solche Systeme selbst und beschäftige mich als Softwareentwickler intensiv damit. Je mehr ich mich mit ihrer Funktionsweise befasse, desto klarer wird ein Schluss, den ich auch so stehen lassen will: Ich halte den Standard, nach dem wir künstliche Intelligenz derzeit entwickeln, langfristig für den falschen Weg.
Das klingt widersprüchlich. Ich nutze die Technik, finde ihre Leistungen stark und stelle trotzdem infrage, ob wir sie grundsätzlich richtig bauen.
Ich habe keine bessere Architektur gefunden. Ich bin Softwareentwickler und kein KI-Forscher. Aus der Entwicklung heraus fehlt mir trotzdem eine Frage, die hinter immer leistungsfähigeren Modellen leicht untergeht:
Bauen wir tatsächlich intelligentere Maschinen, oder werden wir vor allem besser darin, einen extrem rechenintensiven Ansatz zu skalieren?
Was ein LLM eigentlich macht
Die Grundlage vieler heute populärer Systeme sind Large Language Models. Ein entscheidender Schritt dorthin war die Transformer-Architektur von 2017. Sie hat es unter anderem möglich gemacht, das Training stark zu parallelisieren.
Im Betrieb ist das Prinzip schlicht. Text wird in Tokens zerlegt. Das Modell nimmt den bisherigen Kontext und schätzt, welches Token als Nächstes wahrscheinlich ist. Dieses Token kommt dazu, und die Schätzung beginnt von vorn. Daraus werden Antworten, Programmcode, Übersetzungen und Gedankengänge, die geschlossen wirken.
Dahinter steckt keine Tabelle mit Folgewörtern. Im Training entstehen in Milliarden Parametern interne Repräsentationen, und darüber lösen die Modelle Aufgaben, die weit über einfache Textvervollständigung hinausgehen. Die Antwort bleibt trotzdem eine Kette von Vorhersagen. Trainiert wird in großen Läufen, danach stehen die Gewichte weitgehend fest. Neues Wissen kommt selten dadurch hinein, dass das Modell weiterlernt. Es wird neu trainiert, feinjustiert, oder der fehlende Zusammenhang wird ihm im Kontext mitgegeben.
In der Arbeit mit Code sehe ich das regelmäßig. Das Modell schreibt im Stil des bestehenden Kontexts sehr sicher weiter. Die Antwort klingt, als sei die Aufgabe verstanden. Oft wurde vor allem das Muster fortgesetzt, das in den bisherigen Tokens am wahrscheinlichsten war. Liegt dieses Muster für den konkreten Fall falsch, bleibt der Text flüssig und ist trotzdem daneben.
Milliarden Parameter sind für mich kein Beweis für den richtigen Weg
Parameter sind, vereinfacht, die Gewichte, die das Training in einem neuronalen Netz anpasst. Das Modell speichert seine Trainingsbücher nicht als Bibliothek, in der es später nachschlägt. Das Training verschiebt sehr viele dieser Gewichte immer wieder ein Stück, bis das Modell bestimmte Strukturen und Zusammenhänge abbilden kann.
Das funktioniert erstaunlich gut. Der Aufwand dafür wächst mit.
Der Stanford AI Index 2025 kommt, gestützt auf Epoch AI, zu einer klaren Größenordnung. Der Trainings-Compute bemerkenswerter Modelle verdoppelt sich ungefähr alle fünf Monate. Die Datensätze zum Training großer Sprachmodelle verdoppeln sich etwa alle acht Monate, der Strombedarf des Trainings ungefähr jedes Jahr.
Das Ergebnis kennen wir: leistungsfähigere Modelle, größere Rechenzentren, hoch spezialisierte Hardware.
Seitdem ist der Standard auch nicht mehr nur das noch größere Modell. Es gibt Systeme, die bei der Antwort länger rechnen, Werkzeuge aufrufen oder sich etwas merken. Auch diese Erweiterungen ändern für mich am grundlegenden Prinzip wenig. Das Sprachmodell erzeugt seine Ausgabe weiterhin schrittweise aus Wahrscheinlichkeiten; zusätzliche Verfahren verlagern einen Teil des Aufwands lediglich in die Verarbeitung einer konkreten Anfrage.
Ist das Intelligenz, oder gleichen wir fehlende Effizienz zunehmend mit Rechenleistung aus?
„Es funktioniert“ reicht mir als Antwort nicht
Der naheliegende Einwand lautet: Der Ansatz funktioniert doch.
Das stimmt. Moderne Sprachmodelle können programmieren, Texte analysieren, Bilder interpretieren, mathematische Probleme bearbeiten und Zusammenhänge herstellen. Einiges davon hätte man vor wenigen Jahren in dieser Qualität kaum erwartet.
Damit ist für mich die eigentliche Frage noch nicht beantwortet. Wenn ich ein technisches Problem durch immer mehr Hardware lösen kann, habe ich gezeigt, dass das Verfahren skalierbar ist. Ich habe nicht gezeigt, dass es die effizienteste oder langfristig richtige Architektur ist.
Genau diese Unterscheidung halte ich in der gegenwärtigen Entwicklung für entscheidend. Der Ressourcenbedarf der Infrastruktur wächst dabei weiter.
Der Energiebedarf ist kein theoretisches Problem mehr
Die Internationale Energieagentur schätzte den weltweiten Stromverbrauch von Rechenzentren für 2024 auf rund 415 Terawattstunden, etwa 1,5 Prozent des globalen Stromverbrauchs. In ihrem Basisszenario erwartete sie bis 2030 ungefähr eine Verdoppelung auf rund 945 Terawattstunden.
Die Richtung hat sich danach bestätigt. 2025 stieg der Stromverbrauch von Rechenzentren laut IEA um 17 Prozent. Bei Rechenzentren, die speziell auf KI ausgerichtet sind, lag das Plus bei 50 Prozent.
Nicht der gesamte Stromverbrauch von Rechenzentren geht auf Sprachmodelle zurück. Prozessoren werden effizienter, Modelle werden optimiert, und einzelne Anfragen werden zum Teil drastisch günstiger. Das gehört dazu.
Gerade deshalb finde ich die Entwicklung aufschlussreich. Obwohl die einzelne Berechnung effizienter wird, wächst der Gesamtbedarf durch größere Modelle, zusätzliche Anwendungen und stark steigende Nutzung weiter. Für mich bleibt die Frage, ob wir damit langfristig in die richtige Richtung skalieren.
Dann schaue ich auf das menschliche Gehirn
Der Vergleich zwischen einem biologischen Gehirn und einem Transformer ist technisch unvollständig. Beides funktioniert anders. Ein Mensch startet auch nicht bei null: Hinter seinem Lernen steht ein langer evolutionärer Vorlauf, und ein Kind bekommt über Jahre einen dichten Strom an Eindrücken, keine Handvoll Beispiele.
Trotzdem zeigt das Gehirn etwas, das ich am heutigen Standard vermisse. Es kommt im Betrieb mit rund 20 Watt aus. Ein Mensch sieht, spricht, erinnert sich und lernt weiter, und der Leistungsbedarf bleibt in dieser Größenordnung.
Ein Mensch muss nicht erst einen großen Teil des Internets verarbeiten, bevor er anfängt, seine Umgebung zu verstehen. Er beobachtet, probiert Dinge aus, erkennt Gemeinsamkeiten, bildet Konzepte, liegt falsch und ändert daraufhin seine Erwartungen. Und er lernt weiter, ohne dass das ganze System dafür mit einem riesigen Datensatz neu trainiert wird.
Das ist kein Argument dafür, das Gehirn einfach zu kopieren. Wir verstehen seine Funktionsweise selbst nicht vollständig. Für mich reicht der Hinweis trotzdem. Komplexes Lernen lässt sich grundsätzlich anders organisieren als in einem großen Sprachmodell, das seine Gewichte in seltenen, sehr teuren Läufen festschreibt und dazwischen vor allem vorhersagt.
Vielleicht verwechseln wir das Ergebnis mit dem Prinzip
Wenn ein Sprachmodell eine starke Antwort formuliert, erleben wir das Ergebnis als intelligent. Ein intelligentes Ergebnis heißt für mich noch nicht, dass der Mechanismus dahinter der richtige Weg zu künstlicher Intelligenz ist.
Ein sehr leistungsfähiges System zur Vorhersage des nächsten Tokens kann mit mehr Parametern, besseren Daten und mehr Rechenleistung immer bessere Ergebnisse erzeugen. Dabei können tatsächlich allgemeinere interne Repräsentationen und stärkere Fähigkeiten entstehen. Es kann auch der Punkt kommen, an dem zusätzlicher Aufwand immer weniger grundlegenden Fortschritt bringt und sich zeigt, dass die ganze Zeit etwas anderes gefehlt hat.
Was ich unter einer anderen Richtung verstehen würde
Mich interessiert kein kleineres Sprachmodell. Drei Milliarden Parameter statt 300 Milliarden wären sparsamer und würden an meiner Kritik wenig ändern.
Die Frage darunter ist grundsätzlicher.
Wie müsste eine Maschine aufgebaut sein, die aus Erfahrung Konzepte bildet, Wissen behält und es auf Situationen überträgt, die so noch nicht vorgekommen sind?
So eine Maschine müsste Wissen, Erfahrung und Erinnerung deutlicher trennen als ein Modell, das beim Training möglichst viel in seine Gewichte schreibt. Sie bräuchte ein Gedächtnis, das bleibt, und ein Lernverfahren, das nicht bei jedem neuen Zusammenhang einen neuen Großlauf verlangt. Ob die Transformer-Architektur darin ein Baustein bleibt oder ob etwas anderes nötig ist, weiß ich nicht.
Ich halte diese Frage für wichtiger als die nächste Rekordzahl bei Parametern oder Trainings-Compute.
Ich halte den heutigen KI-Standard für den falschen Weg
Das ist meine persönliche Schlussfolgerung.
Sprachmodelle sind deshalb nicht schlecht, und die Transformer-Architektur funktioniert. Ich nutze beides und finde die Ergebnisse oft bemerkenswert. Meine Kritik gilt der Annahme, wir würden künstliche Intelligenz vor allem dadurch erreichen, dass wir dasselbe Prinzip mit immer mehr Daten, Parametern und Rechenleistung skalieren.
Wenn dieser Weg Rechenzentren braucht, deren Strombedarf sich in wenigen Jahren verdoppelt, während ein biologisches System zeigt, dass komplexes Lernen mit einem Bruchteil dieser Energie grundsätzlich möglich ist, sollte das die Grundannahme infrage stellen.
Der größere Durchbruch wäre für mich nicht das nächste Modell mit noch mehr Parametern. Es wäre eine Maschine, die mit wenig Energie aus Erfahrung lernen und abstrahieren kann.
Vielleicht bleiben Transformer und Sprachmodelle darin erhalten und stellen sich rückblickend als wichtige Bausteine heraus. Vielleicht wird man sie vor allem als Beweis dafür lesen, wie weit man mit Vorhersage, Daten und massiver Rechenleistung kommen kann. In beiden Fällen finde ich dieselbe Frage spannender als die nächste Parameterzahl:
Was braucht eine Maschine eigentlich, um zu lernen und zu verstehen?
Quellen und weiterführende Informationen
Vaswani et al., „Attention Is All You Need“ (2017) Grundlagenarbeit zur Transformer-Architektur.
Stanford Institute for Human-Centered AI, AI Index Report 2025 Gestützt auf Epoch AI: Der Trainings-Compute bemerkenswerter Modelle verdoppelt sich ungefähr alle fünf Monate, die Trainingsdatensätze großer Sprachmodelle etwa alle acht Monate, der Strombedarf des Trainings ungefähr jährlich.
International Energy Agency, Energy and AI (2025) Rechenzentren verbrauchten 2024 rund 415 Terawattstunden, etwa 1,5 Prozent des weltweiten Stromverbrauchs. Im Basisszenario rund 945 Terawattstunden im Jahr 2030.
International Energy Agency, Key Questions on Energy and AI 2025 stieg der Stromverbrauch von Rechenzentren um 17 Prozent, der von speziell auf KI ausgerichteten Rechenzentren um 50 Prozent.
