»I am a coal-truck«

Nature Writing und digitale Literatur

Bei meiner Google-Suche nach Bildern von Kohletransportern erscheinen unzählige Aufnahmen der offenen Fahrzeuge auf dem Bildschirm. Auf den großen Kipplastwagen liegen Berge aus Kohle, und es ist offensichtlich, weswegen die Fahrzeuge in kaum einem Kinderbilderbuch fehlen, auch wenn sie dort heute meist Steine und Sand transportieren. Der mit Kohle gefüllte Lastwagen ist aus dem Alltagsbild der großen Städte verschwunden. Die Verwendung des Kohletransporters als literarisches Motiv, das von einer Sichtbarkeit der Fahrzeuge im öffentlichen Raum ausgeht, würde in Texten der Gegenwart anachronistisch wirken.

Ich war deshalb sehr überrascht, als in der Lyrik, die ich im Herbst 2020 mit dem vortrainierten neuronalen Netzwerk Img2Poem generierte, immer wieder ein Kohletransporter auftauchte. Dieses Netzwerk ist so programmiert, dass es auf Basis von Bildern Lyrik produziert. Dafür beschreibt Img2Poem ein Bild mit Begriffen und generiert auf dieser Grundlage ein englisches Gedicht, das mindestens vier Verse lang ist. Geradezu obstinat kehrte bei meinen Ergebnissen, und zwar bei den unterschiedlichsten Eingabebildern, die Gedichtzeile: »I am a coal-truck« wieder.

Wie kommt der Kohletransporter in die Lyrik? Offensichtlich durch einen Verarbeitungsfehler der Künstlichen Intelligenz. Es ist jedoch eines der konstitutiven Merkmale von KI, dass man nur schwer nachvollziehen kann, wie der Algorithmus zu seinen Ergebnissen kommt. Man muss sich diesen selbst, die Trainingsdaten und das Training sehr genau ansehen, und selbst dann kann es sein, dass sich die Frage nach dem Weg des Netzwerks durch die Menge der Daten nicht eindeutig beantworten lässt.

Lyrik und Algorithmen

Img2Poem wurde von Forscherinnen und Forschern der Universität Kyoto entwickelt. Zum Training des neuronalen Netzwerks wurden zwei Datenkorpora verwendet. Das kleine Korpus MultiM-Poem besteht aus 34 847 Bild-Gedicht-Paaren. Diese wurden nicht automatisch generiert, sondern aus öffentlichen Gruppen der Fotografieplattform Flickr gescraped (also automatisch extrahiert), in denen die Userinnen und User ausdrücklich schon Bilder mit Gedichten kombiniert hatten. Diese Bild-Gedicht-Kombinationen wurden dann von fünf Literaturwissenschaftsstudierenden auf Relevanz überprüft und auf 8292 Kombinationspaare reduziert.

Als zweiter Trainingsdatensatz wurde das sehr viel größere Korpus UniM-Poem verwendet, für das 92 265 englischsprachige Gedichte von unterschiedlichen Websites gescraped wurden: »To achieve robust model training, a poem pre-processing procedure is conducted to filter out those poems with too many lines (> 10) or too few lines (< 3). We also remove poems with strange characters, poems in languages other than English and duplicate poems.«

Idealerweise sollten die aus den vorliegenden Bildbeschreibungen generierten Gedichte menschlichen Leserinnen und Lesern so poetisch wie im Rahmen des lyrisch Möglichen sinnvoll erscheinen. Dem standen der Forschergruppe zufolge drei Probleme entgegen: Das erste betrifft die »cross-modality« von Bild und Gedicht, also die medialen Unterschiede von Bild und Text. Der leichtere Weg einer Generierung von Gedichten aus einfachen sprachlichen Bildklassifizierungen hätte zu viele Informationen und poetische Anhaltspunkte, vor allem die Ebene symbolischer und konnotativer Bedeutung des Bildes, außer Acht gelassen. So könnte eine auf den sichtbaren Bildinhalt beschränkte Klassifizierung einen Sonnenuntergang nur als Sonnenuntergang beschreiben, bekäme aber die damit zusammenhängenden Assoziationen des Settings von Liebe bis Abschiedsstimmung nicht in den Blick.

Ein weiteres Problem: Einzelne Bilder können zu mehreren Gedichten passen, die Zuordnung würde von Individuen aber als unterschiedlich stimmig bewertet. Eine automatisierte Beschreibung des bloß Dargestellten dagegen wird immer ähnliche Resultate liefern. Literarisch ist Mehrdeutigkeit in der Regel erwünscht. Im Kontext der KI dagegen ist sie ein Problem. Es ist nämlich nicht leicht zu entscheiden, ob der Algorithmus beliebige Gedichte generiert, die zu allen Bildern passen könnten, oder ob er der Aufgabe gerecht wird, zu bestimmten Bildern passende Lyrik zu generieren, die dennoch über eine reine Inhaltsbeschreibung hinausgeht.

Das dritte ist ein sprachliches Problem. Form und Stil von Gedichtversen unterscheiden sich von erzählender Sprache. Diese Unterschiede werden an Merkmalen wie Reim oder Metrik besonders deutlich. Da das neuronale Netzwerk jedoch Gedichte im freien Vers generieren soll, kann man sich beim Training nicht auf eine formalisierte Beschreibung von Vers- und Reimformen als Bauanleitung verlassen. Es ist technisch komplizierter, gute Lyrik ohne vorher festgelegte metrische Merkmale zu generieren, die trotzdem den Rezeptionsansprüchen an die Lyrizität freier Verse genügt. Dieses vage bleibende Qualitätsmerkmal guter Gedichte wird als »poeticness« definiert. Aufgrund der Vagheit dieses Merkmals wird das technische Verfahren komplexer.

Der immer wieder auftauchende »coal-truck«, der sogar in einem Beispielgedicht des Forschungspapers erscheint, resultiert wohl aus einem Fehler, der entweder aus den Trainingsdatensätzen oder beim Training der Künstlichen Intelligenz entstand: Jedenfalls greift das trainierte Netzwerk offenbar bei bestimmten Eingabeimpulsen auf die immer gleiche Gedichtzeile aus den Trainingsdaten zurück. Und so fuhr der Kohletransporter auch durch zahlreiche der von mir generierten Gedichte.

Nature Writing

Im Herbst 2020 erhielt ich die Bremer Netzresidenz. Das ist ein mit einem Stipendium unterstützter Aufenthalt im virtuellen Literaturhaus Bremen, das schon seit beinahe zwanzig Jahren an der Schnittstelle von Literatur und Digitalität arbeitet. Für mein in diesem Kontext umgesetztes Projekt »Nature Writing /Machine Writing« versuchte ich das Genre Nature Writing mit digitaler Literatur in Verbindung zu bringen. Mein erklärtes Ziel für das Projekt war, »mit verschiedenen Versuchsanordnungen herauszufinden, wie eine neue Form von Nature Writing aus dem Zusammenwirken von Schreibenden und Computern entstehen kann«.

Die Grundannahme dabei: Nature Writing und digitale Literatur setzen sich einerseits in der ästhetischen Begegnung mit Natur und andererseits in der ästhetischen Begegnung mit der Maschine mit der Frage nach den Rahmenbedingungen von Menschlichkeit im Verhältnis zu Natur oder Technik auseinander. Dabei ist jedoch das Verhältnis jeweils anders bestimmt: Während in der digitalen Literatur die menschliche Instanz als pars pro toto für das nichttechnische Natürliche steht, ist im Nature Writing der Mensch klar als Teil der technisch geprägten Zivilisation zu sehen, der in Begegnung mit der Natur über seine eigene Rolle nachdenkt. Dem 1996 von den Geografen Michael Watts und Richard Peet eingeführten Begriff des »environmental imaginary« entspricht der des »algorithmic imaginary«, von dem Taina Bucher spricht.

Vom Imaginären der Natur und Umwelt bis zum Imaginären des Algorithmus gilt, dass Literatur und Kunst an diesen Vorstellungswelten mitschreiben und mit kreativen Gedankenexperimenten Einfluss auf das Imaginäre der Gesellschaft nehmen können – ob nun auf dem Wasser spazierende Menschen in technologischen Zukunftsvisionen auftauchen oder Nature Writing vom Insektensterben erzählt. Bei der digitalen Literatur geht es dabei um jene Schnittstelle zwischen Natur und Technik, die in Theorien des Post- und Transhumanismus verhandelt wird. Der Mensch ist weder ganz Maschine noch ganz Tier, verfügt aber über Gemeinsamkeiten mit beiden, die sich im kreativen Prozess besonders gut ausloten lassen.

Die Fremdheitserfahrung, die ein Mensch macht, wenn er beispielsweise versucht, die Kommunikation von Schwarmvögeln zu verstehen, die sich niemals vollständig in ein menschliches Zeichensystem übersetzen lässt, ähnelt durchaus der Erfahrung mit der von einer KI generierten Literatur, bei der die exakten statistischen Wege durch die Trainingsdaten auch nicht mehr nachvollziehbar sind, weshalb immer auch ein Überraschungsmoment enthalten ist, jener Splitter Unverständlichkeit, der einen entscheidenden Reiz bei der Beschäftigung mit digitaler Literatur ausmacht.

Coal-truck variations

Hier zwei der Gedichte, in denen der »coal-truck« als Splitter dieser Art seinen Auftritt hat:

Versuch A:

i am a coal-truck

carrying a white

butter a brown like rain