„
Bleiben Sie mit kostenlosen Updates informiert
Melden Sie sich einfach für den Social Affairs myFT Digest an – direkt in Ihrem Posteingang.
Was bedeutet es, wenn eine Maschinenentscheidung „fair“ ist? Bisher hat sich die öffentliche Debatte hauptsächlich auf das Thema Voreingenommenheit und Diskriminierung konzentriert. Das ist verständlich: Die meisten Menschen würden erwarten, dass Maschinen weniger voreingenommen sind als Menschen (tatsächlich wird dies oft als Begründung für ihren Einsatz in Prozessen wie der Personalbeschaffung angeführt), daher ist es richtig, darauf zu achten, dass auch sie voreingenommen sein können.
Aber das Wort „fair“ hat viele Interpretationen, und „unvoreingenommen“ ist nur eine davon. Ich fand mich kürzlich auf der Empfängerseite einer automatisierten Entscheidung wieder, die mich darüber nachdenken ließ, was es wirklich bedeutet, sich gerecht behandelt zu fühlen, und wie schwer es sein könnte, an diesen Prinzipien in einer zunehmend automatisierten Welt festzuhalten.
Ich habe ein persönliches Gmail-Konto, das ich für Korrespondenz über ein Buchprojekt, an dem ich arbeite, verwende. Eines Morgens im November wachte ich auf und konnte nicht mehr darauf zugreifen. Eine Nachricht von Google besagte, dass mein Zugriff „global eingeschränkt“ wurde, weil „es so aussieht, als ob Gmail verwendet wurde, um unerwünschten Inhalt zu senden. Spamming verstößt gegen die Richtlinien von Google.“ In der Notiz hieß es, die Entscheidung sei durch „automatische Verarbeitung“ getroffen worden und wenn ich dachte, es sei ein Fehler, könnte ich einen Einspruch einlegen.
Ich hatte keinen Spam gesendet und konnte mir nicht vorstellen, warum Googles Algorithmus dachte, dass ich es getan hatte. Das machte es schwer zu wissen, was ich in das Textfeld des „Einspruchs“ schreiben sollte, außer einer panischen Version von etwas wie „Ich habe es nicht getan (was auch immer es ist)!“ und „Bitte helfen Sie, ich brauche wirklich Zugang zu meiner E-Mail und meinen Dateien“. (Zu meiner Erleichterung erkannte ich später, dass ich den Zugriff auf mein Laufwerk nicht verloren hatte.)
Zwei Tage später erhielt ich eine Antwort: „Nach Prüfung Ihres Einspruchs bleibt der Zugriff auf Ihr Konto für diesen Dienst eingeschränkt.“ Mir wurden keine weiteren Informationen darüber gegeben, was ich angeblich getan hatte oder warum der Einspruch abgelehnt wurde, aber mir wurde mitgeteilt, dass „wenn Sie mit dieser Entscheidung nicht einverstanden sind, können Sie einen weiteren Einspruch einlegen.“ Ich versuchte es erneut und wurde erneut abgelehnt. Ich habe das noch ein paar Mal gemacht – neugierig, zu diesem Zeitpunkt, wie lange diese Verzweiflungsschleife weitergehen könnte. Ein Blick auf Reddit legte nahe, dass auch andere Personen ähnliche Erfahrungen gemacht hatten. Schließlich gab ich auf. (Google lehnte es ab, sich auf dem Rekord zu äußern.)
Unter Regulierern ist eine beliebte Antwort auf die Frage, wie automatisierte Entscheidungen gerechter gemacht werden können, darauf zu bestehen, dass Menschen einen menschlichen Überprüfer anfordern können. Aber wie effektiv ist dieses Mittel? Zum einen neigen Menschen dazu, „Automatisierungskomplizenz“ zu zeigen – eine Tendenz, der Maschine zu sehr zu vertrauen. Im Fall des Skandals um die britische Post, bei dem Sub-Postmeister fälschlicherweise wegen Diebstahls beschuldigt wurden, weil ein fehlerhaftes Computersystem namens Horizon verwendet wurde, kam ein Richter im Jahr 2019 zu dem Schluss, dass die Menschen bei der Post „eine einfache institutionelle Sturheit oder Weigerung zeigten, irgendwelche möglichen Alternativen zu ihrem Blick auf Horizon zu berücksichtigen“.
Ben Green, ein Experte für algorithmische Fairness an der University of Michigan, sagt, dass es auch praktische Probleme in einigen Organisationen geben kann. „Oftmals haben die menschlichen Aufseher einen straffen Zeitplan – sie müssen viele Fälle überprüfen“, sagte er mir. „Viele der Fälle, die ich mir angesehen habe, sind Fälle, in denen die Entscheidung auf irgendeiner Art von statistischer Vorhersage beruht“, sagte er, aber „Menschen sind nicht sehr gut darin, solche Vorhersagen zu treffen, also warum wären sie gut darin, sie zu bewerten?“
Nachdem sich mein ohnmächtiger Zorn über meine E-Mail gelegt hatte, fand ich ein gewisses Maß an Sympathie mit Google. Bei so vielen Kunden ist ein automatisiertes System der einzige praktikable Weg, um Verstöße gegen seine Richtlinien zu erkennen. Und obwohl es sich zutiefst unfair anfühlte, meinen Fall ohne Kenntnis dessen, was das System ausgelöst hatte, oder ohne Erklärung von Fallstricken, die bei einem Einspruch vermieden werden sollten, vortragen zu müssen, konnte ich auch sehen, dass je mehr Details Google über die Funktionsweise des Systems anbieten würde, desto einfacher wäre es für böswillige Akteure, es zu umgehen.
Aber das ist der Punkt. In zunehmend automatisierten Systemen gerät das Ziel der prozeduralen Gerechtigkeit – dass Menschen das Gefühl haben, der Prozess sei fair für sie gewesen – oft in Konflikt mit anderen Zielen wie der Notwendigkeit von Effizienz, Datenschutz oder Sicherheit. Es gibt keinen einfachen Weg, diese Kompromisse verschwinden zu lassen.
Was mein E-Mail-Konto betrifft, als ich beschloss, über meine Erfahrung für diese Kolumne zu schreiben, schickte ich Google’s Pressestelle die Details, um zu sehen, ob ich das Thema diskutieren könnte. Bis zum Ende des Tages war mein Zugriff auf mein E-Mail-Konto wiederhergestellt. Ich war natürlich erfreut, aber ich glaube nicht, dass viele Leute das als besonders fair betrachten würden.
sarah.oconnor@ft.com
„