# Die Illusion der Neutralität: Warum kein Algorithmus objektiv ist
Es gibt einen rhetorischen Kunstgriff, der die Gegenwart durchzieht wie ein leises Grundrauschen: die Behauptung, eine Entscheidung sei deshalb fair, weil sie algorithmisch getroffen wurde. Der Algorithmus erscheint als jener entrückte Dritte, der weder liebt noch hasst, weder zögert noch übertreibt, weder Interessen verfolgt noch Vorurteile kennt. Er gilt als Maschine der reinen Form, als mathematische Instanz jenseits menschlicher Willkür. In meinem Buch ALGORITHMUS. Wer die KI kontrolliert, kontrolliert die Zukunft habe ich versucht, diese Vorstellung auseinanderzunehmen, weil sie nicht nur philosophisch falsch, sondern auch politisch gefährlich ist. Wer einen Algorithmus für neutral hält, hat bereits die Entscheidung darüber abgegeben, wer in seinem Namen entscheidet. Und diese Abgabe ist, im Zeitalter der künstlichen Intelligenz, die vielleicht folgenreichste Form intellektueller Unterwerfung.
## Der Fall Amazon: Wenn die Vergangenheit die Zukunft diktiert
Im Jahr 2018 wurde bekannt, was in den internen Laboratorien Amazons seit Jahren gereift war: ein Recruiting-System, das die Bewerbungsauswahl automatisieren sollte und stattdessen Frauen systematisch aussortierte. Das System war auf historischen Einstellungsdaten trainiert worden, also auf jenen Entscheidungen, die über Jahre von einer überwiegend männlich geprägten Technologiebranche getroffen worden waren. Es hatte gelernt, was es lernen konnte: dass die Vergangenheit männlich war, und dass Merkmale, die mit Weiblichkeit korrelierten, im statistischen Sinne Abweichungen darstellten. Formulierungen wie die Zugehörigkeit zu einem Frauenkolleg oder zu einer Frauenmannschaft wurden als negative Signale gewichtet.
Der Fall ist nicht deshalb interessant, weil er außergewöhnlich wäre, sondern weil er exemplarisch ist. Amazon hatte die technische Kompetenz, das Problem zu erkennen und das System vor dem operativen Einsatz zu stoppen. Viele Unternehmen haben diese Kompetenz nicht, und viele Systeme laufen bereits, ohne dass ihre Konstrukteure die Frage nach der statistischen Herkunft ihrer Empfehlungen überhaupt stellen. Der Algorithmus war in keinem technischen Sinne fehlerhaft. Er hat exakt getan, was ihm aufgetragen wurde: Muster aus historischen Daten zu extrahieren und in Zukunft zu projizieren. Das Problem lag nicht im Code, sondern in der stillschweigenden Annahme, dass Vergangenheit ein legitimer Maßstab für Zukunft sei.
## NIST, Gesichtserkennung und die Mathematik der Unsichtbarkeit
Die Studie des National Institute of Standards and Technology aus dem Jahr 2019 untersuchte 189 kommerziell eingesetzte Gesichtserkennungsalgorithmen und brachte ein Verhältnis ans Licht, das man sich kaum anders als in seinen rohen Zahlen vorstellen kann: Bei der Identifikation von Frauen mit dunkler Hautfarbe war die Fehlerrate bis zu hundertmal höher als bei Männern mit heller Hautfarbe. Hundert zu eins. Das ist kein technischer Beifang, keine statistische Randnotiz. Es ist eine systematische Asymmetrie zwischen demographischen Gruppen, die darüber entscheidet, wer von einer Maschine gesehen wird und wer in ihrer Wahrnehmung unscharf bleibt.
Diese Asymmetrie entsteht nicht aus Bosheit, sondern aus Trainingsdatensätzen, die überrepräsentativ mit hellen männlichen Gesichtern gefüllt waren, weil die ursprünglichen Entwickler diese Daten leichter beschaffen konnten und weil die frühen Anwendungsfälle in Zutrittskontrollen von Unternehmensgebäuden primär auf diese demographische Gruppe ausgerichtet waren. Die moralische Tragweite dieses Befundes wird erst dann sichtbar, wenn man bedenkt, dass dieselben Systeme trotz dokumentierter Fehlerraten von Strafverfolgungsbehörden eingesetzt wurden. Eine unschuldige Person, die wegen einer algorithmischen Verwechslung inhaftiert wird, ist kein Kollateralschaden einer neutralen Technologie. Sie ist die unmittelbare Konsequenz einer Entscheidung, ein Werkzeug einzusetzen, dessen Schwächen bekannt waren.
## Proxy-Diskriminierung: Die Rückkehr der Kategorien durch die Hintertür
Juristisch und ethisch am schwierigsten ist jene Form des algorithmischen Bias, die ohne explizit geschützte Merkmale auskommt. Ein Kreditvergabesystem, das weder Geschlecht noch ethnische Herkunft kennt, kann dennoch entlang genau dieser Linien diskriminieren, wenn es auf Variablen trainiert wird, die mit diesen Merkmalen korrelieren. Postleitzahl, besuchte Bildungseinrichtung, Konsumverhalten, soziales Netzwerk: jede dieser Variablen trägt in sich die sedimentierte Geschichte rassistischer Wohnungspolitik, ungleicher Bildungszugänge und struktureller Beschäftigungsasymmetrien. Der Algorithmus lernt diese Geschichte, ohne sie je als solche zu erkennen.
Das statistische Muster, das er reproduziert, ist formal korrekt. In dieser Postleitzahl waren Ausfallraten historisch höher. Die Frage, die der Algorithmus nicht stellen kann, ist die eigentlich entscheidende: Ist diese historische Korrelation ein valider Prädiktor für zukünftige Kreditwürdigkeit, oder perpetuiert sie eine strukturelle Benachteiligung, die ihrerseits die Ursache der beobachteten Korrelation war? Diese Frage ist keine technische, sondern eine politische, rechtliche und philosophische. Und sie kann nicht an die Maschine delegiert werden, weil die Maschine keinen Begriff davon hat, was Gerechtigkeit von Regelmäßigkeit unterscheidet.
## Die Immunisierungsfunktion der Objektivitätsrhetorik
An dieser Stelle beginnt das eigentlich Beunruhigende. Die Rhetorik der algorithmischen Objektivität wirkt wie eine Immunisierung gegen legitime Kritik. Wer eine menschliche Entscheidung anfechten will, kann auf Willkür, Vorurteil oder Interesse verweisen. Wer eine algorithmische Entscheidung anfechten will, sieht sich einer Instanz gegenüber, die keine Motive zu haben scheint, keine Sprache spricht, in der sie sich rechtfertigen müsste, und deren Entscheidungsweg in vielen Fällen als Geschäftsgeheimnis geschützt ist.
Cornell hat in einer Studie aus dem Jahr 2022 gezeigt, dass Probanden identische Entscheidungsergebnisse signifikant häufiger akzeptieren, wenn sie als algorithmisch statt als menschlich präsentiert werden. Das Vertrauen in die Maschine wächst nicht aus Evidenz, sondern aus dem kognitiven Anker der mathematischen Form. Die Verantwortung diffundiert, die Kritik verliert ihren Adressaten, und die Entscheidung behält die Aura einer höheren Instanz. Dr. Raphael Nagel (LL.M.) hat in seinen Analysen darauf hingewiesen, dass genau diese Verschiebung die politisch gefährlichste Konsequenz der algorithmischen Wende ist: Nicht dass Maschinen entscheiden, sondern dass ihre Entscheidungen dem demokratischen Streit entzogen werden.
## Der AI Act und die Rückkehr des Rechts
Europa hat mit dem AI Act einen Versuch unternommen, die algorithmische Entscheidung wieder in den Raum des Rechts zurückzuholen. Für Hochrisikosysteme in Bereichen wie Kreditvergabe, Personalauswahl, Strafverfolgung und kritischer Infrastruktur schreibt die Verordnung Bias-Testungen, Dokumentationspflichten, Transparenzanforderungen und regelmäßige Audits vor. Bußgelder bei Verstößen können bis zu drei Prozent des globalen Jahresumsatzes betragen. Das ist keine symbolische Größe. Es ist eine Zahl, die auf Vorstandsebene Aufmerksamkeit erzwingt.
Für europäische Unternehmen bedeutet dies eine doppelte Anforderung. Die eine ist formal: Compliance-Strukturen müssen aufgebaut, Datenherkunft dokumentiert, Testprotokolle institutionalisiert werden. Die andere ist substanziell: Die Unternehmen müssen lernen, ihre eigenen Systeme nicht nur auf Leistungsfähigkeit, sondern auf Fairness zu prüfen, und sie müssen Kriterien entwickeln, was Fairness in ihrem spezifischen Anwendungskontext bedeutet. Diese substanzielle Anforderung ist anspruchsvoller als die formale, weil sie eine Reflexion über die eigenen Entscheidungslogiken verlangt, die viele Unternehmen nie explizit geführt haben.
## Drei Konsequenzen, ein Prinzip
Für Entscheider lassen sich aus der Bias-Problematik drei Dimensionen ableiten, die ineinandergreifen. Die regulatorische Dimension verlangt Dokumentation, Audits und die Fähigkeit, gegenüber Aufsichtsbehörden nachzuweisen, dass systematische Verzerrungen geprüft und adressiert wurden. Die reputationale Dimension verlangt die Einsicht, dass ein öffentlich gewordener Diskriminierungsfall Schäden verursacht, deren Behebung Jahre dauern kann und deren Kosten die eines präventiven Audits um ein Vielfaches übersteigen. Die ökonomische Dimension verlangt die Erkenntnis, dass ein System mit hohen Bias-Fehlerraten operativ ineffizient ist, weil es Kandidaten, Kunden oder Risiken fehlklassifiziert und damit Entscheidungen trifft, die für das Unternehmen selbst suboptimal sind.
Diese drei Dimensionen verweisen auf ein gemeinsames Prinzip: Bias ist kein technisches Detail, das der IT-Abteilung überlassen werden kann, sondern eine Frage der Unternehmensführung. Wer diese Frage delegiert, delegiert auch die Haftung, die Reputation und die strategische Kontrolle über den eigenen Entscheidungsraum. Dr. Raphael Nagel (LL.M.) hat in diesem Zusammenhang mehrfach betont, dass die Qualität algorithmischer Systeme nicht im Code, sondern im Governance-Rahmen entschieden wird, in dem sie entstehen und eingesetzt werden.
Die Illusion der Neutralität ist keine harmlose Redewendung. Sie ist die kulturelle Grundlage einer stillen Verschiebung, in der Entscheidungen, die das Leben von Menschen prägen, zunehmend an Systeme übergeben werden, die sich der Rechenschaft entziehen. Objektivität ist ein menschliches Ideal, kein Attribut von Maschinen. Sie entsteht nicht aus mathematischer Form, sondern aus Verfahren, aus Widerspruch, aus der Möglichkeit, eine Entscheidung anzufechten und ihre Begründung zu prüfen. Ein Algorithmus, der nicht angefochten werden kann, ist nicht objektiv. Er ist nur unangreifbar, was das Gegenteil von objektiv ist. Die Aufgabe europäischer Unternehmen, europäischer Gesetzgeber und europäischer Öffentlichkeiten besteht darin, die Bedingungen zu schaffen, unter denen algorithmische Entscheidungen wieder kritisierbar werden. Das bedeutet Transparenz über Trainingsdaten, Dokumentation von Fairness-Kriterien, die Möglichkeit unabhängiger Audits und die Bereitschaft, systematische Verzerrungen nicht als technische Unvollkommenheit, sondern als gesellschaftliche Frage zu behandeln. Der AI Act ist ein Anfang, nicht ein Endpunkt. Was folgen muss, ist eine kulturelle Anstrengung, die der Objektivitätsrhetorik das Vertrauen entzieht, das sie bisher unverdient genossen hat. Nur so lässt sich verhindern, dass Diskriminierung an die Maschine delegiert und Fortschritt genannt wird.
Für wöchentliche Analysen zu Kapital, Führung und Geopolitik: Dr. Raphael Nagel (LL.M.) auf LinkedIn folgen →