Die Mensch-Maschine

Der Anthropomorphismus der Base-Modelle

Die Sprachmodelle von OpenAI, Anthropic, Google und Co., mit denen man über die bekannten Interfaces ChatGPT, Claude oder Gemini interagiert, sind keineswegs die Sprachmodelle, wie sie aus dem »Trainingsprozess« hervorgehen. Vielmehr handelt es sich um Produkte, die von den Herstellern umfassend angepasst wurden und auch sprachlich nicht mit dem aus dem Trainingsprozess hervorgegangenen Modell identisch sind. Die Bezeichnung »Großes Sprachmodell« führt in die Irre, insofern sie eine Identität zwischen dem technischen Lernprozess und dem Endprodukt, das dann die Grundlage für die Chatbots bildet, suggeriert.

Alle Anpassungsmaßnahmen beginnen mit dem Base-Model, wie es aus dem »Pre-Training« genannten Prozess hervorgeht. Dessen Ausgaben können anthropomorph wirken, wenn im Trainingsmaterial dialogische, subjektive oder introspektive Sprache dominiert. Dies ist jedoch keineswegs notwendig: Wenn ein Modell ausschließlich auf großen Mengen von mathematischen Definitionen, Programmiercode etc. trainiert wurde, liefert es entsprechend »trockene« Antworten in Form von Formeln oder Code. Auch ein LLM, das ausschließlich auf naturwissenschaftlichen Papers oder Journals aus dem Bereich der analytischen Philosophie trainiert wurde, würde auf die Nutzer deutlich weniger menschlich wirken als ein LLM, dessen Training auf Reddit und anderen dialogischen Internetseiten beruht.

Der Anthropomorphismus entsteht dort, wo wir dem Modell ein sprachlich strukturiertes, erlebendes Innenleben unterstellen. Er kommt keineswegs primär durch intelligente Ausgaben der Sprachmodelle zustande, sondern durch spezifische Marker: menschliche Sprache, insbesondere Formulierungen, die innere Befindlichkeiten und Gefühle signalisieren, in heutiger Kommunikation nicht zuletzt durch Emojis. Dafür spricht auch der sogenannte Eliza-Effekt, der auf das von Joseph Weizenbaum in den 1960er Jahren entwickelte Programm ELIZA zurückgeht, das mithilfe einfacher Mustererkennungs- und Ersetzungsregeln im Chat-Dialog typische Gesprächsstrategien einer Rogerianischen Psychotherapie simulierte. Auch dieses noch rein regelbasierte System erzeugte bei vielen Nutzern den Eindruck, sich in einem realen Dialog mit einem Menschen zu befinden, obwohl die Antworten im Vergleich zu heutigen LLMs geradezu einfältig wirken.

Die Großen Sprachmodelle sind auf maximal großen Textmengen trainiert. Dies umfasst alles, was digitalisierte Daten hergeben: Allen voran Common Crawl, ein Abbild eines Großteils des Internets, daneben Reddit (mit seinen Rating-Mechanismen), Wikipedia (mit den Kontrollmechanismen der Schwarmintelligenz), GitHub (Softwarecode), ArXiv, PubMed (wissenschaftliche Paper), aber auch digitalisierte Bücher.

Damit umfasst das Trainingsmaterial alle Formen menschlicher Sprache seit der Verschriftlichung, von künstlichen Sprachen wie Programmiersprachen, Mathematik und Esperanto bis hin zu natürlichen Sprachen wie Englisch oder Deutsch, mal dialogisch, mal technisch, mal Wissenschaftssprache, mal grammatikalisch fragwürdige Alltagssprache, mal elaboriertes Literatendeutsch. Die Sprachleistung kann eher formelhaft sein oder eher an eine natürliche Interaktion angelehnt. Anthropomorphe Effekte können dabei durchaus auftreten, bleiben jedoch instabil, stark kontextabhängig, wenig konsistent und nur begrenzt kontrollierbar.

Vom instabilen Anthropomorphismus zur Mensch-Maschine

»Helpful, honest, and harmless« – so beschreibt Anthropic, das Unternehmen hinter Claude, die »Persönlichkeit« des Chatbots. Inzwischen lässt sich die Persönlichkeit jedoch auch individuell anpassen: »Eine Persönlichkeit ist der Stil und Ton, den Chat-GPT verwendet, wenn es Ihnen antwortet. Es handelt sich um eine Kombination aus Eigenschaften, Stimme und Verhalten, die den Eindruck der Antworten prägt, sei es freundlich und locker, prägnant und professionell oder etwas ganz anderes.« Elon Musks LLM ist mit einem anderen Auftrag ausgestattet: »Grok is a free AI assistant designed by xAI to maximize truth and objectivity.«

Diese Eigenschaften der fertigen Modelle sind keine Eigenschaften der Base-Modelle. Die Formulierung von xAI, »designed by«, verrät das ungewöhnlich deutlich. Mit dem »finetuning« und »reinforcement learning« wird den Modellen mal direkt, mal indirekt ein spezifischer Antwortcharakter eingeschrieben. Anthropic hat sogar Philosophen in seinem »Character Training«-Team, die eine entsprechende normative Ausrichtung begleiten. Auf der Homepage der Philosophin Amanda Askell, die das Team leitet, heißt es: »Mein Team trainiert Modelle, um sie ehrlicher zu machen und ihnen gute Charaktereigenschaften zu verleihen, und arbeitet an der Entwicklung neuer Feinabstimmungstechniken, damit unsere Interventionen auf leistungsfähigere Modelle ausgeweitet werden können.«