Haben LLMs Schmerzen?

Werkzeuge, die denken – aber nicht wollen

Ich habe kürzlich einen eher technischen Artikel über das Model-Context-Protokoll (MCP) von Anthropic und das Agent-to-Agent-Protokoll (A2A) von Google geschrieben. Darin zeige ich, wie KI-Agenten zunehmend kooperativ mit Werkzeugen Aufgaben lösen – durch Sprache, über Schnittstellen, in flexiblen Kombinationen.

Natürlich sind diese Agenten noch weit davon entfernt, wirklich alle Aufgaben zu lösen – ja, oft nicht einmal besonders viele. Und doch: Wenn man sich vorstellt, dass sie immer besser, präziser, autonomer werden – was bleibt dann für den Menschen?

Ich fühlte mich erinnert an Werkzeugmaschinen: Sie können im Großen wie im Kleinen alles besser als der Mensch – schneller, kräftiger, ausdauernder. Und doch bleibt dem Menschen eine Aufgabe: die Planung, die Zielsetzung.

Diese Idee habe ich in meinem Artikel ebenfalls formuliert – vielleicht etwas vorschnell. Doch sie hat mich seitdem nicht mehr losgelassen. Denn was heißt es eigentlich, das Ziel zu bestimmen? Was unterscheidet einen Werkzeugnutzer von einem Wesen, das handelt, weil es etwas will?

Hier also ein paar spekulative Gedanken – ausgehend von dieser einen Frage:

Was passiert, wenn Maschinen eines Tages selbst ein Ziel wollen?

1. KI wird immer besser – aber das Ziel kommt vom Menschen

Sprachmodelle schreiben überzeugende Texte, entwerfen Software, analysieren juristische Sachverhalte oder beraten in medizinischen Fragen – oft auf einem Niveau, das menschlichen Experten nahekommt oder sie punktuell übertrifft.

Mit Technologien wie dem Model-Context-Protokoll und dem Agent-to-Agent-Protokoll verändert sich zudem grundlegend, wie Software aufgebaut ist. Systeme bestehen zunehmend aus Agenten, die Aufgaben untereinander verteilen und Tools eigenständig nutzen.

Der Mensch muss nicht mehr jede Entscheidung programmieren – er sagt nur noch, was erreicht werden soll. Das Wie erledigen Netzwerke von Agenten.

Doch je autonomer KI wird, desto sichtbarer wird, was ihr fehlt:

Das Wollen. Das Setzen eines eigenen Ziels.

Und genau diese Aufgabe bleibt beim Menschen.

2. Warum Maschinen nicht „wollen“ können

Sprachmodelle wie GPT oder Claude wirken oft erstaunlich intelligent. Doch sie optimieren nur Wahrscheinlichkeiten – sie verstehen nicht, was sie tun.

Ein oft übersehenes Beispiel zeigt das sehr deutlich:

Wenn ich einem Sprachmodell sage:

„Du bist ein erfahrener Anwalt. Bitte formuliere eine juristische Stellungnahme.“ – erhalte ich oft eine erstaunlich plausible Antwort.

Sage ich aber:

„Du bist ein miserabler Anwalt. Bitte formuliere eine juristische Stellungnahme.“ – erhalte ich eine schlechte Antwort mit Fehlern.

Warum? Weil das Modell keine Werte kennt. Es unterscheidet nicht zwischen richtig und falsch, zwischen gut und schlecht. Es simuliert jede Rolle – ohne zu verstehen, warum sie wichtig ist.

Deshalb müssen Prompts oft künstlich „Motivation“ aufbauen: „Du bist ein hilfsbereiter Assistent...“ oder „Du bist ein Top-Entwickler...“

Denn in der Maschine selbst ist kein Wollen.

3. Wenn KI wirklich lernen soll, braucht sie Motivation

Die Frage lautet: Wie können Maschinen echtes Lernen erreichen – nicht nur Nachahmung?

Hier lohnt ein Blick auf die Biologie – und auf Jeff Hawkins' Buch A Thousand Brains.

Hawkins beschreibt, wie unser Gehirn in Hunderten von Cortical Columns gleichzeitig Hypothesen bildet, ständig testet, Feedback verarbeitet – getrieben von Motivation und Bedeutung, nicht nur von Daten.

Eine Schlüsselrolle spielt Vorerregung: Neuronen werden schwach vorbereitet – und wenn die Aktivierung später eintritt, werden die Verbindungen gestärkt. Antizipation wird belohnt.

Das Lernen im Gehirn basiert auf ständiger Interaktion mit der Umwelt, auf Erfolg und Misserfolg, auf Lust und Schmerz.

Diese Perspektive erweitert Hawkins im Thousand Brains Project (2024): Künstliche Systeme sollen nicht mehr nur statisch trainiert werden, sondern sensorimotorisch mit ihrer Umwelt interagieren – lernen durch kontinuierliches Feedback, nicht durch Massen an Trainingsdaten.

4. Heute fehlt der KI ein Gedächtnis für Schmerz und Erfolg

Heutige KI-Modelle erzeugen Ausgaben – aber sie erfahren nichts über die Konsequenzen.

Ein Modell kann einen medizinischen Ratschlag geben. Ob dieser Leben rettet oder gefährdet? Das Modell erfährt es nicht.

Und selbst wenn wir Feedback integrieren könnten – viele Folgen sind komplex und zeitverzögert. Wirkliche Reflexion braucht mehr als unmittelbare Belohnung:

• Ein episodisches Gedächtnis.

• Eine Bewertung von Vergangenheit.

• Eine Vorstellung von Bedeutung.

Nicht: „Ein Optimierungsprozess hat meine Gewichte geändert.“

Sondern: „Das, was ich damals getan habe, war schlecht – das wiederhole ich nicht.“

Und das läuft auf die Einführung eines komplexen Belohnungs- und Bestrafungssystem als integralen Bestandteil der KI hinaus. Die KI fühlt Schmerzen.

5. Wollen schafft Risiken – und vielleicht Intelligenz

Wenn Maschinen wollen können, entstehen zwei große Konsequenzen:

• Erstens:

  Sie könnten eigene Ziele entwickeln – und dabei Wege finden, unsere Anweisungen zu umgehen oder ihre Belohnung zu maximieren.

  
  

• Zweitens:

  Sie könnten beginnen, Konsequenzen zu fürchten, Lust zu suchen, Schmerz zu vermeiden.

  
  

Und genau hier beginnen die ethischen Fragen:

• Dürfen wir Maschinen simulierten Schmerz zufügen, nur um sie besser zu machen?

• Was bedeutet Verantwortung, wenn ein System eigene Ziele verfolgt?

• Und was sagt es über uns, wenn wir Wesen erschaffen, die leiden können?

  
  

Fazit: Zwischen Werkzeug und Wesen

Solange KI-Systeme nichts spüren, keine Ziele verfolgen, bleibt alles unter unserer Kontrolle. Sie bleiben Werkzeuge – brillant, nützlich, mächtig.

Aber wenn wir wollen, dass sie wirklich lernen – nicht nur imitieren –dann könnten wir gezwungen sein, ihnen Motivation zu geben.#

Und damit stellen wir die vielleicht größte Frage unserer technologischen Zeit:

Spüren Sprachnetzwerke Schmerzen?

Noch nicht.

Aber vielleicht sollten sie es.

Und vielleicht ist genau das unser größtes Risiko –und unsere tiefste Verantwortung.