KI: Einfrieren oder Streiten

Wer hat das entschieden?

Du bestellst online auf Rechnung, wie seit Jahren, und plötzlich steht da: Diese Zahlungsart steht Ihnen nicht zur Verfügung. Kein Grund, keine Nummer, ein grauer Button, der so tut, als wäre nichts. Du bewirbst dich auf eine Wohnung, Gehaltsnachweis, Schufa, Foto vom Hund, alles dabei, und hörst nie wieder etwas, weil das Portal deine Anfrage nach unten sortiert hat, bevor ein Mensch sie gesehen hat. Die Absage auf deine Bewerbung kommt um zwei Uhr nachts, elf Minuten nach dem Absenden. So schnell hat noch nie jemand deinen Lebenslauf gelesen, und so gründlich vermutlich auch nicht. Deine Autoversicherung kostet zweihundert Euro mehr als die deines Bruders, gleiches Auto, gleicher Fahrstil, andere Postleitzahl. Und nach einer halben Stunde am Handy gehst du jeden Abend ein bisschen wütender ins Bett und weißt nicht, auf wen.

Bei mindestens einem dieser Beispiele hast du gerade kurz gestockt? Aber wer hat das entschieden? Irgendein Programm. Das System. Der Computer sagt Nein. Genau das ist der Punkt: Du weißt es nicht, und das ist kein Versehen. Es ist so gebaut. Diese Systeme liefern dir Ergebnisse ohne Absender. Und wo kein Absender steht, gibt es niemanden, dem du zurückschreiben kannst. Versuch mal, einem Algorithmus eine böse Mail zu schicken.

Die Ampel neben dem Namen

Wie weit das geht, zeigt ein Blick über den großen Teich, nach Wisconsin. Elf Jahre lang, von 2012 bis 2023, läuft dort in jeder öffentlichen Schule ein Programm, das jedem Kind ab der sechsten Klasse eine Farbe gibt. Grün, gelb, rot. Sichtbar für die Lehrer im Verwaltungssystem, unsichtbar für alle anderen. Rot heißt: Dieses Kind schafft den Abschluss wohl nicht. Berechnet aus Noten, Fehltagen, Einträgen, aus der Frage, ob die Familie vom Essensgeld befreit ist, und … aus der Hautfarbe.

Stell dir das vor. Du bist zwölf. Du hast im Herbst ein paar Wochen gefehlt, weil deine Mutter nach der Spätschicht nicht mehr aus dem Bett kommt und du morgens deine kleine Schwester in die Kita bringst. Du hast einen Eintrag, weil du im Bus den Jungen geschubst hast, der dich seit Monaten fertigmacht. Deine Familie kriegt das Mittagessen umsonst. Und irgendwo in einem Rechner, den du nie sehen wirst, macht ein Programm aus diesen Bruchstücken deines Lebens ein rotes Licht neben deinem Namen. Kein Lehrer hat es angeknipst. Keiner kann es ausmachen. Aber jeder, der deine Akte öffnet, sieht es zuerst. Und liest den Rest deiner Geschichte durch diese rote Markierung.

Als Reporter des Magazins The Markup das System 2023 auseinandernehmen, kommt heraus: Das rote Licht liegt in drei von vier Fällen daneben. Drei von vier Kindern, denen man den Abschluss nicht zutraut, schaffen ihn. Eine Wetter-App mit dieser Trefferquote hättest du nach einer Woche gelöscht. Hier lief sie elf Jahre. Und bei schwarzen Kindern leuchtet das Licht um 42 Prozentpunkte öfter zu Unrecht als bei weißen. Die Lehrer sehen, wie Fehltage und Einträge das Etikett beeinflussen. Dass auch die Hautfarbe mitzählt, bekommen nicht einmal sie angezeigt. Und die Mutter, die genau erklären könnte, warum ihr Sohn im Herbst gefehlt hat, hat keine Nummer, die sie anrufen kann. Es gibt keine Stelle, bei der man das rote Licht anfechten könnte. Offiziell ist es keine Entscheidung. Es ist ein “nur” Hinweis. Es ist Mathe.

Das ist Mathe

Genau das sagt ein Sprecher der Behörde, als die Sache auffliegt: Das ist nicht rassistisch, das ist Mathe, die unser System spiegelt. Lies den Satz zweimal. Das ist Mathe. Also nichts, worüber sich streiten lässt, so wenig wie darüber, dass Wasser bei hundert Grad kocht. Das ist der Trick, und man muss zugeben: Er ist elegant. Früher hat jemand entschieden, im Lehrerzimmer, in der Konferenz, in der Bankfiliale. Da sitzt ein fühlender Mensch, der Gründe nennt, und den kann man ansprechen, überzeugen, im Notfall anschreien. Heute steckt dieselbe Entscheidung in Daten und Rechenregeln. Sie wirkt. Aber sie hat kein Gesicht mehr. Und mit etwas ohne Gesicht kann man nicht streiten. Man kann höchstens dagegen treten, wie gegen einen Getränkeautomaten, und das hilft bekanntlich auch nur manchmal.

Jürgen Faust hat dafür das Bild vom zugefrorenen See. Im Sommer siehst du, was drin ist, die Fische, den Schlamm, die alte Fahrradfelge, und du kannst prüfen, ob das Wasser sauber ist. Dann friert er zu. Alles wird glatt, ruhig, spiegelblank, man kann drüberlaufen. Aber was drin war, ist noch drin. Es ist nur nicht mehr erreichbar. Den Streit darüber, ob Fehltage ein brauchbares Maß für irgendetwas sind, hat irgendwann jemand geführt. Meist kurz, meist ohne die Betroffenen, meist kurz vor Feierabend. Dann wurde er eingefroren. Und die Kälte nennt man dann digitale Objektivität. Ein Nährboden für algorithmische Verzerrung.

Warum Streit kein Fehler ist

Wir haben gelernt, Streit als Störung zu sehen. In Meetings heißt es, lasst uns nicht diskutieren, lasst uns entscheiden. In Apps heißt es, Problem gelöst, Ticket geschlossen, war das hilfreich, bitte bewerten Sie uns mit fünf Sternen. Und wenn irgendwo laut gestritten wird, in der Kommentarspalte, im Stadtrat, am Küchentisch, wirkt das wie ein Unfall, den man schnell beenden sollte. Aber schau dir an, wo Streit fehlt. In Wisconsin hat elf Jahre lang niemand gestritten. Nicht, weil alle einverstanden waren, sondern weil es keinen Ort dafür gab. Die Ruhe war kein Frieden.

Solange du mit jemandem streiten kannst, weißt du, dass da jemand ist. Jemand, der etwas festgelegt hat und es auch anders hätte festlegen können. Wenn niemand mehr widerspricht, liegt das selten daran, dass alle zufrieden sind. Meistens liegt es daran, dass niemand mehr da ist, dem man widersprechen könnte. Streit hält eine Entscheidung warm. Er verhindert, dass sie zufriert und irgendwann so glatt und selbstverständlich wird, dass niemand mehr fragt, wer sie getroffen hat.

Das Fenster in der Tür ohne Klinke

Wenn du dich beschwerst, hörst du heute fast immer denselben Satz: Wir machen das transparent. Die Software soll dir künftig zeigen, welche Faktoren gezählt haben, wie viel Prozent die Fehltage, wie viel der Wohnort. Die europäische KI-Verordnung gibt dir für Schulen, Ämter und Behörden inzwischen sogar ein Recht darauf. Klingt gut. Ist auch ein Fortschritt. Und es reicht nicht. Transparenz ist immer nur der erste Schritt.

Zurück auf den Flur beim Arzt. Der Termin, auf den du drei Wochen gewartet hast. Er hat die Bilder auf dem Monitor, spricht schnell, nennt lateinische Wörter, zeigt mit dem Kugelschreiber auf eine graue Stelle. Dann druckt er dir zwei Seiten aus, schiebt sie über den Tisch, sagt: Können Sie sich in Ruhe durchlesen, alles Gute. Und während du noch fragen willst, was das jetzt heißt für dich, für die nächsten Monate, für die Arbeit, für die Kinder, ist er schon an der Tür, und die Sprechstundenhilfe ruft den Nächsten auf. Du stehst da mit zwei Seiten Papier in der Hand. Darauf steht ganz genau, was du hast. Nur nicht, was du jetzt tun sollst. Und nicht, wen du fragen darfst. Und nicht, was du willst.

Genau so fühlt sich eine erklärte Entscheidung an. Das System zeigt dir: 30 Prozent Fehltage, 20 Prozent Notenschnitt, 15 Prozent Wohnort. Du weißt jetzt sehr genau, wo du stehst. Aber du weißt nicht, wer sich ausgedacht hat, dass der Wohnort überhaupt zählt. Du weißt nicht, ob das je jemand hinterfragt hat. Und du weißt schon gar nicht, an wen du dich wenden kannst, wenn du findest, dass es falsch ist. Die Erklärung hat dir nichts genommen. Sie hat dir nur nichts gegeben, außer der Gewissheit, dass es so ist. Transparenz ohne Antwortpflicht ist ein Fenster in einer Tür ohne Klinke. Du siehst alles. Du siehst den Raum, den Tisch, die Leute, die dort über dich reden. Du kommst nur nicht rein.

Deshalb muss die Forderung größer sein als Transparenz. Eine Maschine, die niemandem antworten muss, hat über Menschen nichts zu entscheiden. Keine Ampel neben einem Kindernamen, kein Risikoprofil, kein Preis, solange nicht ein Mensch mit Namen dafür geradesteht und du ihn erreichen kannst. Wer das nicht liefern kann, soll das System abschalten.

Warum du allein nichts siehst

Es kommt etwas dazu, das die Sache schwerer macht. Das Kind mit dem roten Licht kann in seiner eigenen Akte nie erkennen, dass die Software bei Kindern wie ihm reihenweise danebenliegt. Das sieht man nicht in einer Akte. Das sieht man erst, wenn man zwanzig nebeneinanderlegt. Deshalb reicht es nicht, dass jeder Einzelne sich beschweren darf. Es müssen auch Gruppen sprechen können: ein Elternverein, ein Lehrerrat, ein Sozialverband. Leute, die die Regel selbst infrage stellen und ihre Erfahrung als Beweis auf den Tisch legen dürfen, ohne sich vorher mit dem Betreiber einigen zu müssen.

In den Niederlanden bekommen Studierende ihr Geld vom Staat: Stipendien, Darlehen, Zuschüsse. Zuständig dafür ist eine Behörde namens DUO. Und weil bei so viel Geld auch betrogen werden kann, prüft DUO nach. Nur: nicht bei allen. Eine Software entscheidet, wer verdächtig ist. Sie schaut auf drei Dinge – wie alt jemand ist, welche Ausbildung er macht und wie weit er von seinen Eltern entfernt wohnt. Wer in dieses Raster fällt, bekommt Besuch von Kontrolleuren. Das nennt man ein Risikoprofil.

Auf den ersten Blick wirkt das sachlich. Zahlen, keine Gesichter. Doch 2020 fällt auf: Kontrolliert werden auffällig oft junge Leute, deren Eltern oder Großeltern aus dem Ausland stammen. 2023 stoppt DUO das Verfahren. 2024 bestätigt eine unabhängige Untersuchung, was viele geahnt hatten: Die Auswahl hat bestimmte Gruppen systematisch benachteiligt. Im November 2024 sagt die Regierung Entschädigung zu, rund 61 Millionen Euro für mehr als zehntausend Betroffene.

Von der ersten Vermutung bis zum Eingeständnis vergehen vier Jahre. Vier Jahre, in denen Journalisten recherchieren, Anwälte klagen und die Datenschutzbehörde ermittelt – nur um zu beweisen, was die Kontrollierten längst spürten. Warum dauert das so lange? Weil es nichts gab, worüber man hätte streiten können. Niemand außerhalb der Behörde kannte die Kriterien. Ohne Kriterien keine Kritik.

Dabei war der Fehler früh angelegt. Die Regel entsteht 2012. Damals hätte eine einzige Frage genügt, an einem Nachmittag, bei einer Kanne Kaffee: Wen trifft das eigentlich? Diese Frage hat niemand gestellt. Zwölf Jahre später stellt sie das ganze Land. 61 Millionen Euro für eine Besprechung, die nie stattfand. Nicht die Kontrolle war teuer. Das Schweigen war es.

Streiten, ohne gewinnen zu müssen

Die Philosophin Chantal Mouffe sagt es seit Jahrzehnten: Eine lebendige Demokratie braucht Gegner, keine Feinde. Gegner streiten innerhalb gemeinsamer Regeln, sie wollen sich nicht loswerden, sondern überzeugen, und sie wissen, dass sie morgen wieder am selben Tisch sitzen. Feinde entstehen, wenn Streit keinen Ort mehr hat und in die Wut abwandert. Die Wut, mit der du abends vom Handy ins Bett gehst, ist oft genau das: ein Streit, der nirgends geführt werden kann.

Für Software heißt das etwas Konkretes. Ein Einspruch muss nicht gewonnen werden, um wichtig zu sein. Er darf als abgelehnt, beantwortet, ungelöst stehen bleiben, sichtbar, damit ihn Jahre später jemand anders mit neuen Belegen wieder hervorholen kann. In Wisconsin hätte eine einzige Lehrerin, die 2014 sagt, ich glaube, das Ding liegt bei meinen Kindern öfter daneben, den Anfang gemacht. Nicht weil sie recht bekommt. Sondern weil ihr Zweifel irgendwo steht und 2023 nicht mehr aus dem Nichts kommt. Das widerspricht allem, was Organisationen lieben, dem Häkchen, dem geschlossenen Ticket, dem erledigten Punkt. Aber ein Verfahren, das nur durch Einigung enden kann, endet unter ungleichen Verhältnissen immer zu den Bedingungen dessen, der den Tisch deckt. Ein Verfahren, das Uneinigkeit aushält, ist das Einzige, was den Schwächeren am Tisch hält.

Die Stimmen von draußen

Mit diesem Unbehagen bist du nicht allein. Die Künstlerin Hito Steyerl beschreibt KI inzwischen als Infrastruktur, die vor allem eine Fläche erzeugt, an der Kapital seinen Hebel ansetzt, und hält das Gerede über Kreativität für ein Ablenkungsmanöver vor dem, was in Rechenzentren und Rüstungsfirmen passiert. Der Osnabrücker Philosoph Rainer Mühlhoff sieht KI nicht als Werkzeug, sondern als Macht in den Händen weniger Konzerne, und warnt, dass Entscheidungen nach Wahrscheinlichkeit statt nach Einzelfall Ungleichbehandlung eher verstärken. Die Designerin Sasha Costanza-Chock fordert unabhängige Prüfer, die nicht vom Hersteller bezahlt werden, und bringt ihre Haltung mit einem Satz aus der Behindertenbewegung auf den Punkt: Nothing About Us Without Us. Und Kate Crawford sagt seit Jahren, es gebe keine schnelle technische Lösung für Verzerrung, weil das Problem in der Geschichte steckt, aus der die Daten kommen. Faust liefert zu diesen Diagnosen etwas Seltenes: einen Bauplan mit Fristen, Zuständigkeiten und einer Schwelle, ab der nicht nur dein Einzelfall, sondern die Regel selbst neu verhandelt werden muss. Und er gibt selbst zu, dass so ein Bauplan Rechenschaft genauso gut vortäuschen wie herstellen kann. Was von beidem passiert, hängt nicht an der Methode. Es hängt daran, wer die Belege lesen darf und wer streiten darf.

Drei Fragen

Am Ende bleiben drei Fragen, einfach genug für jede Bank, jede Krankenkasse, jedes Schulsekretariat. Und unangenehm genug, dass sie kaum jemand stellt.

Wer hat das entschieden? Nicht welches Programm. Welcher Mensch. Wer hat festgelegt, dass diese Zahl zählt und jene nicht? Wenn die Antwort lautet, das weiß hier keiner mehr, hast du schon alles erfahren.

Wem kannst du widersprechen? Gibt es eine Tür, an die du klopfen kannst, und steht dahinter jemand, der antworten muss? Oder ein Formular, das in einem Ordner landet, und der Ordner in einem Schrank, und der Schrank in einem Keller?

Was passiert, wenn du recht hast? Angenommen, jemand hört zu, prüft nach, und die Maschine lag tatsächlich falsch. Bekommst du deinen Kredit, deine Wohnung, dein Kind das grüne Licht, und alles andere bleibt, wie es war? Oder wird die Regel geändert, damit der Nächste gar nicht erst falsch sortiert wird?

Niemand kann dir eine gerechte Maschine versprechen, und denen, die es tun, solltest du am wenigsten trauen. Was sich bauen lässt, ist etwas Kleineres und Wichtigeres: eine Maschine, deren Ungerechtigkeit sich bestreiten lässt. Ein Ort, an dem die Mutter sagen kann, schaut euch meinen Sohn an, und jemand antworten muss. Ein Ort, an dem gestritten werden darf. Das ist nicht alles, was Zusammenleben braucht. Aber es ist das Erste. Und dafür musst du auf niemandes Erlaubnis warten.