Artificial Intelligence und die normative Kraft des Faktischen

Den Gesundheitszustand von Patienten zu prognostizieren, um medizinische Präventionsmaßnahmen möglichst sinnvoll zu verteilen, ist schwieriger, als man denkt. Dabei scheint die Problemstellung denkbar simpel: Es sollen diejenigen Patientinnen zusätzliche Präventionsmaßnahmen erhalten, deren Gesundheitszustand sich zu verschlechtern droht. Doch der Gesundheitszustand ist, wie die meisten menschlichen Angelegenheiten, zu komplex, um ihn einheitlich messen und quantifizieren zu können. Das gilt auch dann, wenn alle Patientendaten vollständig zur Verfügung stehen und mit Big-Data-Methoden verarbeitet werden können.

Ein vielfach genutztes algorithmisches health care management-System aus den USA reduzierte die Komplexität dieser Aufgabe, indem es anstelle des Gesundheitszustands die aufzuwendenden medizinischen Kosten prognostizierte. In der Tat sollte man meinen, dass diese beiden Größen korrelieren, dass man also aus einer Kostenprognose auf den wahrscheinlichen Gesundheitszustand rückschließen könnte.

Die Sache hat allerdings einen Haken: Gesundheitskosten sind keine neutrale statistische Größe. Der Zugang zu medizinischen Ressourcen und damit die aufgewendeten Kosten hängen stark mit der sozioökonomischen Position von Patienten zusammen. Das ist überall so und erst recht in den USA, die kein flächendeckendes solidarisches Gesundheitssystem besitzen. Arme Menschen können sich weder eine gute Krankenversicherung noch teure Behandlungen leisten.

Schwarze Menschen sind in den USA sozioökonomisch systematisch schlechter gestellt als andere. Es korrelieren also Schwarzsein mit Armut und Armut mit geringen Ausgaben im Gesundheitsbereich. Dieser Effekt wird, wie empirische Studien zeigen, noch dadurch verstärkt, dass auch in der individuellen Beziehung zwischen Ärztinnen und Patienten schwarze Patientinnen weniger präventive und weiterführende Behandlungen erhalten.

All das sind Gründe, warum die statistische Größe der aufgewendeten Gesundheitskosten einem gravierenden racial bias unterliegt. Für das health management tool bedeutete das im Ergebnis: Schwarzen Patienten wurden systematisch weniger medizinische Präventionsmaßnahmen zugeteilt, da ihr Gesundheitszustand als weniger gravierend eingeschätzt wurde – auf Basis der Kostenprognose. Dieser Fehler wurde von Wissenschaftlerinnen durch Zufall entdeckt und behoben. Nach der Korrektur dieses Fehlers verdoppelte sich der Anteil der schwarzen Patienten, die nun zusätzliche Präventionsmaßnahmen erhielten.

Die Wissenschaftlerinnen, die den Fehler behoben, präsentierten diesen Fall auf der FACCT-Konferenz der Association for Computing Machinery. FACCT ist ein Akronym für »Fairness, Accountability and Transparency in Machine Learning«, und die jährlich stattfindende FACCT-Konferenz bündelt ein inter- und multidisziplinäres Forschungsfeld im Überschneidungsbereich von Technologie, Informatik und Mathematik, das auch gegenüber rechts-, geistes- und sozialwissenschaftlichen Ansätzen offen ist. Im Kern geht es dabei um die Frage, wie sich unerwünschte Effekte von algorithmischen Systemen erkennen, messen und mit ihrerseits technischen Mitteln einhegen und konterkarieren lassen. Auch die EU-Kommission beschäftigt sich mittlerweile mit diesem Thema. Sie hat »Ethik-Guidelines« für datenbasierte algorithmische Systeme und Künstliche Intelligenz entworfen, genauer gesagt entwerfen lassen, und zwar von einem Gremium namens »High-Level Expert Group on Artificial Intelligence« (AI HLEG).

Die Tatsache, dass falsch konzipierte algorithmische Systeme durch diskriminierenden Bias gravierenden Schaden anrichten können, ist also bekannt und wird diskutiert. Was aber, wenn AI-Systeme genau so gebaut werden, wie sie entlang ihres grundlegenden mathematischen Paradigmas gebaut werden sollen? Trotzdem – und gerade dann – sind Bias und diskriminierende Effekte in AI-Systemen in vielen Anwendungszusammenhängen bereits in der mathematischen Struktur angelegt und damit buchstäblich »vorprogrammiert«. Denn AI-Systeme haben in ihrer mathematischen Architektur angelegte epistemische Grenzen, die in einem fundamentalen Missverhältnis zu ihren gegenwärtigen Anwendungszusammenhängen stehen. Diese Grenzen werden deutlich, wenn man sich eine einfache Frage stellt: Welches Wissen können diese Systeme produzieren – und welches nicht?

Paradigmenwechsel

Die AI-Forschung hat seit ihren Anfängen mindestens einen fundamentalen Paradigmenwechsel erlebt. War es zu Beginn der Entwicklung noch das Ziel, mittels Computerprogrammen einen kognitiven, menschenähnlichen Gedankenprozess zu simulieren (was in der Regel nicht gut funktionierte), so gründet der neueste Stand der AI-Forschung heute auf Methoden des datenbasierten Machine Learning. Die Stärke und der springende Punkt der heutigen AI sind der Umgang mit großen Datenmengen. Durch gesteigerte Datenproduktions-, Datenspeicherungs- und Datenverarbeitungskapazitäten ist es nun möglich, ein Machine-Learning-System dahingehend zu trainieren, dass es das richtige (im Sinne von: erwünschte) Ergebnis für eine bestimmte Fragestellung produziert, indem riesige, aggregierte Datenmengen mit statistischen Methoden verarbeitet werden. Heutige AI-Programme »lernen« letztendlich durch die schiere Menge an Datenbeispielen. Die »Trainingsphase« der Entwicklung eines Machine-Learning-Systems bezeichnet genau das. Nach dem Wechsel von einem regelbasierten zu einem datenbasierten Paradigma wird nun nicht mehr die Frage gestellt, ob der Weg zu einem Ergebnis sinnvoll ist. Vielmehr wird entlang verschiedener mathematischer Gütekriterien beurteilt, ob das Ergebnis hinreichend zufriedenstellend ist. Ist das der Fall, dann wird stillschweigend unterstellt, dass auch der Weg dorthin sinnvoll gewesen sein muss.