Manchmal trifft ein Buchtitel den Kern einer ganzen Ausgabe, ohne dass man ihn dafür verbiegen müsste. Diese Woche ging es um die graue Eminenz, um eine Macht, die im Verborgenen wirkt und sich der Rechenschaft entzieht. Das Buch, das ich diese Woche empfehle, trägt im Deutschen den Titel „Angriff der Algorithmen“ — und trifft damit fast wörtlich, worüber wir schon die ganze Ausgabe gesprochen haben.
Wer ist Cathy O’Neil?
Cathy O’Neil, geboren 1972, ist Mathematikerin mit Promotion in Harvard. Sie begann ihre Laufbahn als Dozentin, wechselte dann in die Finanzbranche und arbeitete als Quantitative Analystin für den Hedgefonds D. E. Shaw — bis sie im Zuge der Finanzkrise 2007/2008 zunehmend desillusioniert wurde von dem, was sie dort mit Zahlen tat. Was sie in dieser Zeit beobachtete, beschreibt sie selbst als Missbrauch von Mathematik: Modelle, die komplexe, riskante Finanzprodukte als sicher und solide erscheinen ließen, obwohl die zugrunde liegende Realität längst eine andere war. Sie wandte sich von der Finanzwelt ab, engagierte sich bei Occupy Wall Street, und wurde später eine der bekanntesten Kritikerinnen der Datenbranche. Heute betreibt sie den Blog MathBabe, ist Gründerin der Algorithmus-Prüffirma ORCAA und Mitglied am Public Interest Tech Lab der Harvard Kennedy School. Ihr Buch „Weapons of Math Destruction“ gewann 2016 den Euler Book Prize und stand auf der Longlist des National Book Award.
Ich habe bei der Vorbereitung dieser Empfehlung, wie inzwischen bei jeder Empfehlung in diesem Magazin, gezielt nach Kontroversen um die Autorin gesucht — nach der Erfahrung mit Johann Hari in der ersten Ausgabe ist das für mich kein optionaler Schritt mehr, sondern ein fester Bestandteil jeder Empfehlung. Bei Cathy O’Neil bin ich nicht fündig geworden: keine Plagiatsvorwürfe, keine widerrufenen Aussagen, keine öffentlich dokumentierten Skandale. Das macht die Empfehlung nicht automatisch richtiger, aber es macht sie für mich ruhiger und sicherer auszusprechen.
Das Buch: Wenn Mathematik zur Waffe wird
Quelle: Herzbaum-DALIB-Universe
KI-generiert mit Nano Banana Pro
O’Neil prägte für ihr Buch den Begriff „Weapons of Math Destruction“ — im Original ein bewusstes Wortspiel mit „Weapons of Mass Destruction“, Massenvernichtungswaffen. Gemeint sind damit Algorithmen, die drei Eigenschaften gleichzeitig aufweisen: Sie sind undurchsichtig, sie wirken auf sehr viele Menschen gleichzeitig, und sie schaden denjenigen, die von ihnen bewertet werden, oft ohne, dass diese Menschen es überhaupt bemerken. O’Neil zieht dafür Beispiele aus sehr unterschiedlichen Lebensbereichen heran: Bewertungssysteme für Lehrkräfte, deren Ergebnisse für dieselbe Lehrerin von einem Jahr aufs andere völlig willkürlich schwanken. Rückfallrisiko-Modelle in der Strafjustiz, die historische Vorurteile in scheinbar neutrale Zahlen übersetzen. Kreditwürdigkeits- und Versicherungs-Scores, die Armut mit Risiko verwechseln und so genau jene Menschen härter bestrafen, die es sich am wenigsten leisten können.
Ein wiederkehrendes Muster, das sich durch fast alle diese Beispiele zieht, hat mich beim Lesen besonders beschäftigt: Ein solches System speist sich häufig aus sich selbst. Wer in einer bestimmten Postleitzahl wohnt, gilt algorithmisch als höheres Versicherungsrisiko, zahlt deshalb mehr, hat deshalb weniger Geld für andere Dinge, was wiederum in andere Scores einfließt, die auf ähnliche Weise berechnet werden. Der Algorithmus produziert die Realität, die er eigentlich nur beschreiben sollte — eine sich selbst erfüllende Vorhersage, die O’Neil in mehreren ihrer Beispiele nachzeichnet.
Ein Gedanke aus dem Buch ist mir bei der Recherche besonders hängengeblieben, weil er sich fast wortwörtlich auf das übertragen lässt, was diese Ausgabe in der Soziologisch-Rubrik über unerreichbare Gatekeeper beschrieben hat: O’Neil zeigt, dass die Betroffenen eines solchen Algorithmus fast immer deutlich bessere Beweise für ihre eigene Unschuld liefern müssen, als der Algorithmus umgekehrt selbst je liefern musste, um verurteilt zu werden. Der Algorithmus gilt als objektiv, bis das Gegenteil zweifelsfrei bewiesen ist. Der Mensch, der sich gegen sein Urteil wehrt, muss dagegen unzweifelhaft beweisen, dass er die Ausnahme ist.
Warum dieses Buch zu dieser Ausgabe passt
Was O’Neils Buch für mich so wertvoll macht, ist, dass es genau die Behauptung widerlegt, mit der sich viele dieser Systeme rechtfertigen: die Behauptung, ein Algorithmus sei per Definition objektiver als ein Mensch, weil er auf Mathematik statt auf Meinung beruhe. O’Neil zeigt, mathematisch fundiert und trotzdem ohne komplizierte Formeln, dass diese Objektivität eine Erzählung ist, keine Eigenschaft der Systeme selbst. Ein Algorithmus übernimmt die Vorurteile der Menschen, die ihn gebaut haben, verstärkt sie durch Wiederholung — und entzieht sich anschließend, anders als ein einzelner voreingenommener Mensch, jeder direkten Rechenschaft, weil „die Mathematik“ als Entschuldigung dient.
Was mich an diesem Buch besonders überzeugt, ist die Haltung, mit der O’Neil schreibt: Sie ist selbst Mathematikerin, liebt ihr Fach offensichtlich, und trifft ihre Kritik deshalb von innen heraus — als jemand, die den Werkzeugkasten selbst genau kennt und umso genauer sehen kann, wo er missbraucht wird. Das unterscheidet dieses Buch von mancher pauschalen Technikkritik: Mathematik oder Algorithmen als solche verurteilt sie an keiner Stelle. Ihre Kritik zielt auf etwas Konkreteres — auf die Entscheidung, sie ohne Kontrolle, ohne Widerspruchsmöglichkeit und ohne Rechenschaftspflicht einzusetzen.
Wie man das Buch lesen kann
Auf Deutsch erschien das Buch 2017 unter dem Titel „Angriff der Algorithmen. Wie sie Wahlen manipulieren, Berufschancen zerstören und unsere Gesundheit gefährden“ im Carl Hanser Verlag, übersetzt von Karsten Petersen (352 Seiten, rund 24 Euro als Taschenbuch, als E-Book bereits für unter 7 Euro erhältlich). Im englischen Original heißt es „Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy“ und ist bei Penguin als Taschenbuch erschienen.
Anders als Susan Sontags „Notes on Camp“, das ich euch in der vorigen Ausgabe empfohlen habe, ist dieses Buch kein knapper Essay, der sich an einem Nachmittag lesen lässt, sondern ein vollständiges Sachbuch mit vielen konkreten Fallbeispielen. Wer sich für einen Einstieg lieber ein einzelnes Kapitel vornimmt statt das ganze Buch auf einmal, findet in der Regel gerade den Abschnitt zu Rückfallrisiko-Modellen in der Strafjustiz als besonders zugänglichen Ausgangspunkt — er macht in wenigen Seiten deutlich, worum es im gesamten Buch geht.
Der Wurzelbote ist das rollende Themenmagazin des Herzbaum-DALIB-Universe. Neue Artikel erscheinen wöchentlich, passend zu den Ausgaben des Blätterboten. Den Blätterboten gibt es kostenlos auf https://hdu-niverse.de/blaetterbote
Hinterlasse jetzt einen Kommentar