gi-studie-algorithmenregulierung
Dieses Dokument ist Teil der Anfrage „Gutachten des Sachverständigenrats für Verbraucherfragen“
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
Dokumentationspflichten in § 80 Abs. 3 WpHG geregelt. Unser Interview mit der
Wertpapiergruppe der Bundesanstalt ergab jedoch, dass diese die Algorithmen selbst
regelmäßig nicht überprüft.
Das Modell, algorithmische Entscheidungen in besonders risikobehafteten Bereichen von
bestimmten technischen und/oder organisatorischen Maßnahmen abhängig zu machen, die
von einer Aufsichtsbehörde überprüft werden können, lässt sich grundsätzlich auch auf die
vorliegend betrachteten Anwendungsfälle übertragen. Die Erfahrungen, die im
Anwendungsbereich des WpHG gemacht wurden, lassen sich aber nicht verallgemeinern.
Zum einen ist die durch das WpHG adressierte Gefahrenlage dafür zu spezifisch; zum
anderen betreffen die Regelungen des WpHG zum algorithmischen Handel einen ohnehin
bereits stark regulierten Sektor, was bei anderen Anwendungen algorithmischer
Entscheidungen nicht der Fall ist.
Eine tiefergehende Analyse der Regelungen des WpHG wird daher an dieser Stelle nicht
durchgeführt.
102
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
6 Regulierung und Standardisierung im
internationalen Vergleich
6.1 Übersicht und Kontextualisierung
Das Bewusstsein der Problematik ist in allen analysierten Ländern hoch, sowohl bei
politischen Entscheidungsträgern als auch in der Bevölkerung. Dies ist getrieben zum einen
durch eine Reihe von medienwirksamen Vorfällen, die die Gefahren und den Missbrauch
von Algorithmen auch einer breiteren Öffentlichkeit vermittelten,170 zum anderen durch die
Veröffentlichung einer Reihe populärwissenschaftlicher Studien, die über problematische
Einzelfälle hinaus das Gefährdungspotenzial der algorithmischen Gesellschaft
hervorgehoben haben.171 Beispiele von Diskriminierung aufgrund von Geschlecht und
ethnischer Herkunft dominieren dabei die Debatte, die so insbesondere in den USA politisch
stark polarisierte Positionen annehmen kann. Dies erzeugt zum einen politischen
Handlungsdruck, zum anderen aber auch eine Dynamik, die die genaue Ausgestaltung
neuer Regulierung erschwert.
In einem Versuch, die dynamische und noch sehr heterogene Diskussion zu
systematisieren, strukturieren wir dieses Kapitel nicht nach Rechtsordnungen, sondern
stellen exemplarisch Vorschläge vor – einige wie das französische Gesetz zur
Fairnesspflicht der Onlineplattformen sind nur in einer Rechtsordnung zu finden, andere
typischerweise in der Diskussion in mehreren Ländern. Es ist möglich, die Ergebnisse grob
in drei Typen zu kategorisieren: So finden wir Vorschläge, die in erster Linie die Transparenz
erhöhen wollen und sich dann typischerweise auf die Regulierung durch den Markt und den
freien Wettbewerb verlassen. Ein sehr anderer Ansatz verbietet kategorisch (Formen der)
Diskriminierung. Hier kann der Schwerpunkt entweder auf der Analyse der Ergebnisse (a
posteriori) sein, mit Sanktionen, wenn sich diese als diskriminierend erweisen, oder auf dem
„Input“, d.h. einem A-priori-Verbot bestimmter Techniken, oder einem Gebot, nur bestimmte
geprüfte Methoden zu verwenden. Parallel zu dieser Unterscheidung finden sich Vorschläge,
die sich primär auf den Input in den Algorithmus konzentrieren und etwa durch
Datenschutzregeln gewisse Daten gar nicht erst verfügbar machen, während andere sich
primär auf das Ergebnis der Analyse und die Verwendung des Ergebnisses konzentrieren.
Häufig werden alle drei Ansätze verbunden, insbesondere in Vorschlägen, die nach einer
neuen Aufsichtsbehörde verlangen.
170
Mit weiteren Beispielen: O’Donnell, F.: What we talk about when we talk about fair AI, BBC News
Labs, 11.12.2017 [https://bit.ly/2AAkk6t]; Guynn, J. (1. Juli 2015). „Google Photos labeled black
people ‘gorillas‘“. USA TODAY; Day, M. (31. August 2016). „How LinkedIn’s search engine may
reflect a gender bias“. The Seattle Times; Angwin, Julia et al. „Machine bias: There’s software used
across the country to predict future criminals and it’s biased against blacks.“ ProPublica, May 23
(2016); Derek Hawkins, „Researchers use facial recognition tools to predict sexual orientation. LGBT
groups aren’t happy“, The Washington Post; Asian People Are Not Impressed With Their Matches On
Google’s Museum Selfie Feature, Buzzfeed 17.01.2018; Hayasaki: Is AI sexist? Foreign Policy
16.01.2017; Ian Sample: Computer says no: why making AIs fair, accountable and transparent is
crucial, The Guardian 4.11.2017.
171
Siehe als besonders einflussreich, gemessen am Zitationsindex, Besprechungen und
Suchmachinenranking, insbesondere Pasquale 2015, O’Neil 2016, Finn 2017, Finlay 2014, Siegel
2013, Noble 2018, Wachter-Boettcher 2017, Steiner 2013, Dormehl 2014.
103
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
Was in der gegenwärtigen Diskussion zur Regulierungsthematik oft vergessen wird, ist wie
alt das Problem ist – so gab es bekannte Beispiele für rechtswidrig diskriminierende
lernende Algorithmen bereits in den frühen 1980er Jahren. Der Algorithmus, der von 1982
bis 1985 die Zulassung zur St. George’s Hospital Medical School kontrollierte, benachteiligte
so systematisch Bewerber mit „ausländisch klingenden“ Namen aufgrund historischer
Entscheidungsmuster.172 Älter ist sogar die Frage, ob Datenschutzrecht geeignet ist, den
Missbrauch von Scoring zu verhindern. Wir diskutierten oben Gesetze aus der Zeit der
Bürgerrechtsbewegung in den USA, die diskriminierende Entscheidungen zu verhindern
suchen. Gleichzeitig mit dem Erlassen dieser Gesetze wurde der Fair Credit Reporting Act,
15 U.S.C. § 1681, im Jahr 1970 erlassen und 1996, 2003 und 2010 erheblich geändert. Der
FCRA begrenzt nicht, welche Informationen von Kreditauskunfteien gesammelt werden,
sondern konzentriert sich auf die Beschränkung des Zugangs Dritter zu Kreditdaten für
zulässige Gewährleistung der Richtigkeit dieser Daten, Benachrichtigung der Verbraucher
über nachteilige Maßnahmen auf der Grundlage solcher Daten und Gewährleistung des
Zugangs der Verbraucher zu Daten, und die Möglichkeit, Daten über sich selbst zu
korrigieren. Die Anhörungen der Kreditinstitute und des Equifax-Vorläufers Retail Credit
Company durch den US-Kongress brachten auch damals schon die gleichen Fragen zum
(Miss)brauch von Big Data zur Profilierung, wie wir sie heute finden.173
Die Debatte zur rechtlichen Regulierung von „klassischen“, d.h. nichtlernenden, Algorithmen
durch die öffentliche Hand ist nur wenig älter, mit einem der ersten Beispiele der Social
Security Act 1998 in England, der vollautomatische Entscheidungen über
Sozialhilfeansprüche auf eine rechtliche Grundlage stellte und auch in der
parlamentarischen Debatte große Bedenken gegenüber vollautomatischen Entscheidungen
hervorrief.174 In der Diskussion zu diesen regelbasierten Algorithmen (Expertensysteme)
waren indes die Sorge nicht so sehr diskriminierende, intransparente oder ungerechte
Entscheidungen (regelbasierte Systeme sind zumindest in der Theorie hier weniger anfällig),
sondern die Frage, ob ein solches Modell der Interaktion zwischen Staat und Bürgern mit
Grundprinzipien der Menschenwürde zu vereinbaren ist.175 Diese Diskussion ist daher nur
bedingt auf die gegenwärtige Debatte übertragbar.
Von akademischer Seite gab es seit den 1990er Jahren Warnungen – in einer frühen Studie
von Friedman und Nissenbaum identifizierten die Autoren diskriminierende Algorithmen im
Gesundheitswesen (Diskriminierung von verheirateten Patienten in der Zuweisung von
Pflegeplätzen) und wettbewerbsrechtlich problematische Empfehlungen von Flügen.176
Diskriminierende Rankings von Suchmaschinen dominierten diese frühen Debatten.177
Trotz des schon früh existierenden Bewusstseins über mögliche ethische und rechtliche
Probleme führten diese Debatten nicht zu einer effizienteren Regulierung. So ist es möglich,
dass mehr als 30 Jahre, nachdem der St. George’s Algorithmus aufgrund von Namen
Minderheiten diskriminierte, gleiche Vorwürfe gegen Versicherer in Großbritannien von der
172
Lowry 1988.
173
Siehe etwa Retail Credit Co. of Atlanta, Ga 1968; für eine historische Diskussion siehe
Ohlhausen/Okuliar 2015.
174
Le Sueur 2016.
175
So etwa Oliver Letwin MP in der parlamentarischen Anhörung, zu finden als Standing Committee
B, 28 October 1997 (Morning), Keith Bradley MP, Parliamentary Under-Secretary of State for Social
Security.
176
Friedman/Nissenbaum 1996, S. 48-51.
177
Siehe z.B. Mowshowitz/Kawaguch 2002, S. 56-60; Introna/Nissenbaum 1999.
104
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
Presse gemacht werden konnten.178 Die Journalisten hatten unter Benutzung verschiedener
Namen, aber ansonsten identischer Angaben Quotierungen für eine Fahrzeugversicherung
beantragt. „Mohameds“ wurden dabei systematisch höhere Raten angeboten als „Johns“. Es
muss angemerkt werden, dass beide genannten Versicherungen die Vorwürfe strikt
zurückweisen. Sie argumentieren, dass die unterschiedlichen Angebote entweder
„unvergleichbar“ gewesen seien, da sie neben dem Preis auch in den Leistungen
unterschiedlich waren, dass die Journalisten die Preisstruktur nicht richtig verstanden hätten
oder dass die Verwendung identischer Daten trotz verschiedener Namen den
Betrugswarnungsalgorithmus ausgelöst hätte und dies zu unterschiedlichen Resultaten
führte.179
Wenngleich die Probleme und Diskussionen daher nicht neu sind, und in dieser Hinsicht
bislang Regulierung oder Selbstregierung scheinbar wenig Erfolg hatten, zeigt eine
genauere Analyse dieses und ähnlicher Fälle aus den USA und Großbritannien auch, wie
sich seit 1982 das gesellschaftliche und politische Umfeld geändert hat. Waren es in den
80ern ausschließlich Wissenschaftler mit dem notwendigen Fachwissen, so waren es in
diesem und einer Reihe ähnlicher Fälle Enthüllungsjournalisten, die den Algorithmus
testeten. Ihre Methoden waren einerseits sehr einfach, schnell und billig, andererseits aber
auch nicht sehr systematisch: Einige Faktoren wurden kontrolliert, andere nicht, ohne dass
eine besondere Systematik erkennbar wäre. So wurden verschiedene Computer mit
verschiedenen IP-Adressen verwendet, um auszuschließen, dass der angebotene Preis das
Ergebnis von „personeller Preiskalkulation“ war, die außer den groben Kategorien aus dem
Antragsformular auch noch Daten der individuellen Onlineinteraktion, wie z.B die
Geolokalisierung des Kunden, hinzunimmt.180 Dies zeigt einerseits, dass die Sorge, dass
sich die algorithmische Blackbox prinzipiell der gesellschaftlichen Aufsicht entzieht,
unbegründet ist. Insbesondere auch dann, wenn wie im Fall der COMPAS-Enthüllungen181
zum rassistischen Strafbemessungsalgorithmus Wissenschaftler und Journalisten
zusammenarbeiteten,182 waren die Ergebnisse überzeugend und erzeugten nun auch in der
breiteren Öffentlichkeit den Ruf nach staatlicher Regulierung – wie unter anderem die
Einreichungen zu den öffentlichen Konsultationen zeigen.
Andererseits offenbaren diese Beispiele auch die Grenzen solcher Analysen durch
Privatpersonen: Sowohl in Großbritannien als auch den USA haben die Firmen, die die
Algorithmen entwickelten (USA) oder verwendeten (UK), die Schlussfolgerung, dass eine
ungerechtfertigte Diskriminierung vorliegt, zurückgewiesen. Dabei traten sie keinen
Gegenbeweis an, sondern beschränkten sich darauf, mögliche Fehlerquellen in den Studien
aufzuzeigen. Für uns belegt dies die Notwendigkeit standardisierter und extern validierter
Prüfungsschemata und Methoden als Minimum.
178
Ben Leo, Motorists fork out £1,000 more to insure their cars if their name is Mohammed, The Sun,
22. Januar 2018 [https://bit.ly/2Bl2MGE], siehe auch DecisionMarketing, Admiral Insurance hit by big
data discrimination claims, 24. Januar 2018 [https://bit.ly/2CBk1tt].
179
Vic Motune, Are black drivers paying more car insurance?, The Voice vom 17. Februar 2018
[https://bit.ly/2wWlqFM].
180
Personalisierte Preissetzung ist möglich und wird auch von einigen Unternehmen verwendet, doch
zeigt eine Studie für die US-Regierung, dass bislang (Stand 2015) dies noch die Ausnahme zu sein
scheint. Siehe Executive Office of the President of the United States (Council of Economic Advisors)
2015: Big Data and Differential Pricing.
181
Angwin et al. 2016.
182
Die zentrale Rolle von Journalisten in der Kontrolle von Algorithmen und die Entwicklung neuer
Trainingsprogramme und Ressourcen werden diskutiert von Catalina Albeanu: What journalists can
do to hold algorithms to account, Journalism UK 14.4.2018 [https://bit.ly/2qsZhL0].
105
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
Zu überlegen ist auch, wie das „Nichtbestehen“ eines solchen Tests rechtlich zu behandeln
ist, und wie wir sehen werden, haben andere Länder unterschiedliche Vorschläge entwickelt
– so könnte es wie im oben angeführten Beispiel des Fair Lending Acts eine widerlegbare
Vermutung der Diskriminierung erzeugen, die dann entweder dadurch entkräftet werden
kann, dass Fehler in der Anwendung der Methode gerügt werden, oder sie können den
Benutzer verpflichten einen positiven Gegenbeweis anzutreten und die Nichtdiskriminierung
des Algorithmus darzulegen (was dann wiederum verschiedene Beibringungs- und
Offenlegungspflichten begründen kann). Alternativ kann das Nichtbestehen der Prüfung das
Versagen eines Gütezeichens bedeuten, und damit gegebenenfalls das Verbot, in
bestimmten Bereichen tätig zu sein.183
In der rechtlichen Reaktion auf den angeblich diskriminierenden Versicherungsalgorithmus
im UK finden wir beide Modelle – so ist das Unternehmen gegenwärtig Gegenstand einer
Untersuchung durch die Financial Conduct Authority, die noch 2016 nach der Analyse eines
ersten „Calls for Inputs“ abgelehnt hatte, eine Untersuchung zu „Big Data und
Versicherungswirtschaft“ zu initiieren, da ihrer Ansicht nach die Auswirkung von Big Data
Analytics und automatisiertem Scoring für Verbraucher „generell positiv“ sei.184 Hier können
die Sanktionen von einem Verbot des spezifischen Algorithmus zu Strafgebühren oder sogar
zum Lizenzentzug führen. Gleichzeitig hat der ehemalige Vorsitzende der Equality and
Human Rights Commission (EHRC) angedeutet, dass eine Ermittlung der betroffenen
Versicherungsunternehmen unter Art. 20 des Equality Acts 2006 durch die EHRC
wahrscheinlich sei. Art. 20 verlangt nur einen Anfangsverdacht („suspicion“, schwächer als
die „reasonable suspicion“, die vor der Gesetzesreform 2006 notwendig war und zu sehr
vorsichtiger Handhabung führte). Eine Bedingung, die durch Studien wie die durch die BBC
und Sun Newspaper durchgeführten problemlos erfüllen. Typischerweise wird die EHRC
versuchen, eine Einigung mit dem Unternehmen zu erreichen, bevor eine offizielle
Untersuchung durchgeführt wird. In beiden Fällen ist das Ergebnis in der Regel ein
verbindlicher Handlungsplan, der zur Beseitigung der Diskriminierung führen soll (Art. 22
und 23 des EA 2006). Möglich ist auch das Erlangen eines Gerichtsbeschlusses zum
sofortigen Verhindern diskriminierenden Verhaltens (Art. 24 EA 2006); dies ist auch das
Verfahren, wenn ein Unternehmen einen Handlungsplan nicht umsetzt.
Möglich wäre auch eine Ermittlung durch das Information Commissioner’s Office, doch gibt
es bislang keine Stellungnahme des ICO zu diesem bestimmten Fall. Dies ist für
Großbritannien nicht untypisch – einerseits ist das ICO bereit, datenschutzrelevante
Verletzungen durch Algorithmen zu untersuchen und zu unterbinden, doch wenn das
Problem wie hier primär eine Verletzung von Gleichheitsbestimmungen ist, besteht die
Tendenz dies zumindest im ersten Zugriff dem Equality and Human Rights Commissioner
oder wenn anwendbar Fachaufsichtsbehörden wie der Financial Service Authority zu
überlassen. Im Falle der Versicherungen waren das Problem nicht inakkurate Daten oder
eine fehlende Rechtsgrundlage der Datenverarbeitung, und das ICO scheint zurückhaltend
zu sein einen Begriff der Fairness und Transparenz zu entwickeln, der zu weit von einem
Individualrechtsverständnis abweicht und negative Auswirkungen auf ganze Gruppen hat.
Was die britische Fallstudie auch zeigt, ist, dass diskriminierende Algorithmen häufig in den
Zuständigkeitsbereich mehrerer Aufsichtsbehörden und Rechtsgebiete fallen, in diesem Fall
ICO, EHRC und FCA. Von diesen hat im Moment die Financial Service Authority das größte
183
So der Vorschlag eines Algorithm Safety Impact Assessments, vgl. Shneiderman 2016, S. 13538-
13540.
184
Financial Conduct Authority 2016; siehe auch DecisionMarketing, Insurers off the hook as FCA
rules out big data probe, 22. September 2016 [https://bit.ly/2O3Fyw6].
106
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
Fachwissen, wenn es um technische Fragen geht – hier z.B. ob die Diskriminierung durch
Geburtsnamen, die stark mit in der Entscheidungsfindung verbotenen ethnischen
Merkmalen korreliert, trotzdem empirisch rechtfertigbar ist.185 Eine mögliche
Algorithmenaufsichtsbehörde muss vermeiden, Aufgaben, die diese Behörden auch
weiterhin durchführen müssen, zu duplizieren. Zum anderen bedeutet dies, dass eine
einheitliche Methode oder ein universales „Fairness Certificate“ wahrscheinlich nicht zu
erreichen ist. So sind wie gesehen die Bedürfnisse des EHRC (nur geringer
Anfangsverdacht notwendig, nur Diskriminierung gegen sieben im Equality Act genannte
Gruppen relevant) anders als die der Financial Conduct Authority. Diese verlangt eine
höhere Beweisschwelle, hat aber ein weiteres Aufgabenfeld, das auch die Auswirkung auf
den Wettbewerb und die Frage, ob einige Gruppen ganz von erschwinglichen Produkten
ausgeschlossen sind, abdeckt. So hat die Financial Conduct Authority in ihrer Analyse des
„Calls for Input“ zwar geschlossen, das alle Preisermittlungen, die weder risiko- noch
nachfragebasiert sind, ein potenzielles Problem darstellen. Eine etwas detailliertere
Diskussion des FCA-Berichts findet sich unten.
b) In Hinsicht auf diskriminierende Algorithmen bezieht sich die Besorgnis mit wenigen
Ausnahmen auf die Durchsetzung und Durchsetzbarkeit bestehender
Diskriminierungsverbote. Nur vereinzelt finden sich Stimmen, die argumentieren, dass
algorithmische Diskriminierung ein neuer Diskriminierungstyp ist, der der gesonderten
Regelung bedarf. In den USA sind solche Diskussionen zusätzlich durch die extensive
Interpretation der verfassungsrechtlich garantierten Redefreiheit eingeschränkt, die über die
Jahre mehr und mehr auch auf kommerzielle Rede ausgedehnt wurde. Die genaue
Einordnung von algorithmischen Entscheidungen als „Rede“ bleibt dabei umstritten186, kann
aber den gesetzgeberischen Handlungsspielraum auch im Verbraucherschutz weitgehender
einschränken, als dies in Deutschland der Fall wäre.187
c) Wir fanden nur wenige Stimmen, die fordern, für algorithmische Entscheidungen den
Haftungstyp zu ändern und insbesondere verstärkt verschuldungsunabhängige Haftung zu
verwenden, wenn dies nicht auch schon der Haftungstyp für die manuelle Entscheidung ist –
in dieser Hinsicht unterscheidet sich die Debatte zu algorithmischen Entscheidungen in den
Problemszenarien von der parallel stattfindenden Diskussion über die Haftung von physisch
implementierten Algorithmen (Robotik), in der derartige Ideen weiter verbreitet sind.188 Die
Entscheidung Algorithmen zu verwenden wird als eine zurechenbare Entscheidung ihrer
Besitzer begriffen, die diese dadurch weder besser- noch schlechterstellen soll – in
Fortführung eines alten Gedanken aus der Internetregulierung, was menschlichen
Entscheidungsfindern erlaubt/verboten ist, soll dies auch auf Algorithmen anwendbar sein.
Was Algorithmen zu einem Problem der Regulierung macht, ist damit primär die
185
So hatten Versicherer in einem früheren Fall im Jahr 2010, der damals auch von der
Verbraucherschutzorganisation Which aufgedeckt wurde, argumentiert, dass Diskriminierungen
gegen im Ausland aufgewachsene Fahrer (unabhängig von ethnischer Herkunft oder Nationalität)
belegbar ein größeres Risiko darstellen [https://bit.ly/2N3PngS].
186
Siehe z.B. Benjamin 2012, S. 1445; Massaro/Norton 2015, S. 1169.
187
Zum potenziellen Konflikt zwischen „First Amendment“-Schutz für algorithmische Rede und
Verbraucherschutz siehe Balkin 2017.
188
So etwa die EU Motion For A European Parliament Resolution with Recommendations to the
Commission on Civil Law Rules on Robotics (2015/2103(INL); mit vergleichender Analyse
europäischer Ansätze: Final Report Summary - ROBOLAW (Regulating Emerging Robotic
Technologies in Europe: Robotics facing Law and Ethics), rechtsvergleichend siehe auch Kelley et al.
2010, S. 1861-1871.
107
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
Durchsetzung bestehender Normen, und der Beweis der Normverletzung, nicht das
materielle Recht.
d) Bislang allerdings hat diese Besorgnis noch nicht zu abgeschlossenen Reformprojekten
außerhalb des Datenschutzrechts geführt. So haben wir keine Beispiele gefunden, in denen
es zu einer Änderung des materiellen Verbraucherschutzrechts durchgeführt. Frankreich, als
eine mögliche Ausnahme, hat zwar einen generellen „Fairnessparagrafen“ in Sec 3 Art. 13
des neuen Loi n°2016-1321 pour une République numérique (Digitale-Republik-Gesetz)
eingeführt, der dem Verbraucherschutz dienen soll. Wie wir sehen werden, behandelt dieser
aber nicht die Szenarien, die im Zentrum dieser Studie stehen, sondern reguliert primär
Rankingalgorithmen auf Onlineplattformen und Onlinemärkten.
Vergleichsweise weiter vorangeschritten sind Vorhaben, eine „Algorithmenbehörde“ zu
errichten. Dies ist etwa im Haushalt der britischen Regierung vorgesehen, der ein „Centre for
Data Ethics and Innovation“ vorschlägt, dessen genaue Aufgaben und Befugnisse am
17.1.2018 Gegenstand einer parlamentarischen Debatte waren.
Auch diese sind aber noch nicht umgesetzt worden, so dass Erfahrungen mit ihrer
Anwendung, ihrer Effizienz, ihren Kosten und ihrer öffentlichen Akzeptanz weiterhin fehlen.
Indirekt gelernt werden kann aber durch die Anhörungen und Konsultationen, die auf breiter
Basis stattfanden und auch Bedenken aus Industrie und rechtlicher Praxis aufgegriffen
haben.
e) Auch wenn es weitgehend Übereinstimmung darüber gibt, wie problematische
algorithmische Entscheidungen lebensweltlich aussehen (die Arten von Szenarios, die
diskutiert werden, sind denen in unserer Studie sehr ähnlich), gibt es keinen Konsens
darüber, welche Rechtsgebiete primär betroffen sind. Dies führt auch dazu, dass es keinen
Konsens gibt, ob es rechtlicher Änderungen bedarf, einer besseren Selbstregulierung der
Industrie (unter Umständen durch flankierende Maßnahmen, um einen effektiven Markt
sicherzustellen), technologischer Lösungen (gegebenenfalls mit flankierenden Maßnahmen
zur Standardisierung durch ISOs oder ähnliche Kitemarks), oder ob prozessrechtliche
Schritte (einschließlich Kostenentscheidungen) einen besserer Weg darstellen. In den
Antworten zu diesen Fragen zeigen sich die Auswirkungen von historisch gewachsenen und
gesellschaftlichen Unterschieden zwischen den Rechtsordnungen besonders deutlich.
6.2 Klassifizierung der Debatten
Wie oben unter e) gesehen, gibt es bislang noch keinen Konsens darüber, wie das Problem
der algorithmischen Diskriminierung begrifflich einzuordnen ist. In einer ersten Annäherung
können die Vorschläge in Gruppen zusammengefasst werden.
6.2.1 Analoge Anwendung bestehenden Rechts
Es sollte nicht als gegeben betrachtet werden, dass die neue Technologie rechtlichen
Handlungsbedarf erzeugt. Gerade in Fragen der Technikregulierung lenkt häufig die
oberflächliche Neuheit der Technologie davon ab, die zugrundeliegenden und häufig sehr
viel älteren gesellschaftlichen Probleme und Fragestellungen wiederzuerkennen. Wir sehen
dies in einem eng verwandten Fragegebiet, der Regulierung der Robotik als verkörperter KI.
Hier fluktuiert die Diskussion zwischen Positionen, die eine radikal neue Problemlage
108
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
identifizieren und ihr mit neuen rechtlichen Konzepten wie der E-Person begegnen wollen,189
und solchen, die vor allem die Ähnlichkeit mit altbekannten Problemen wie etwa der
Verantwortlichkeit für Hunde und Pferde hervorheben190 und auf eine analoge Anwendung
von Begrifflichkeiten aus dem 19. Jahrhundert – oder sogar der römischen Republik191 –
setzen.
In dem Ausmaß, in dem verschiedene Rechtsordnungen eine „mentalité“ oder kognitive
Grundeinstellung haben, tendieren Common-Law-Rechtsordnungen zu letzterem Ansatz, mit
einem (im Abnehmen befindenden) Misstrauen gegen gesetzliche Lösungen und stärkerem
Vertrauen in die Fähigkeit der Gerichte, im Wege der Analogie angemessene Lösungen im
Einzelfall zu finden. Auch haben die USA und das UK wohl eine größere Bereitschaft,
marktbasierte Ansätze und Selbstregulierung in den Vordergrund zu stellen. Man sollte
diese Unterschiede aber nicht überbetonen, und wie oben ausgeführt sind auch in diesen
Ländern Diskriminierungsverbote durch formale Gesetze eingeführt worden.
Gegeben diese „philosophischen“ Vorentscheidungen, kann man trotzdem aus den
Erfahrungen dieser Rechtsordnungen Argumente für oder gegen einen Handlungsbedarf
finden? Dies führt zu einem Paradox: Das in der Diskussion prominenteste Problem mit
lernenden Algorithmen ist ihre fehlende Transparenz. Wenn es nun nur wenige identifizierte
Fälle von rechtswidrigem Entscheiden gibt, heißt dies, dass bestehende Gesetze dem
Missbrauch effizient vorbeugen oder dass sie so ineffizient sind, dass weitgehender
Missbrauch gar nicht mehr entdeckt werden kann? Die öffentliche Diskussion ist in starkem
Maße durch die Identifizierung von missbräuchlichen und diskriminierenden Algorithmen
geprägt worden. Heißt dies, dass anders als befürchtet Ex-post-Analysen von Algorithmen
leicht möglich und effizient sind, oder sind diese Fälle nur nichtrepräsentative Beispiele
eines viel fundamentaleren Problems?
Trotz dieser methodischen Probleme gibt uns eine rechtsvergleichende Analyse zumindest
einige neue Datenpunkte. Zum einen ist wie oben angeführt das Problembewusstsein über
Rechtsordnungen und rechtliche Traditionen hinweg sehr hoch, und wie wir unten sehen
werden, ist es sehr wahrscheinlich, dass die USA und das UK schon sehr bald durch
Gesetzgebung neue Institutionen zur Regulierung von Algorithmen einführen werden.192
Wenn sogar in Rechtsordnungen, die tendenziell unternehmerfreundlich und
gesetzeskritisch sind, starker Handlungsbedarf besteht, sollte dies a fortiori auch für
kontinentaleuropäische Rechtsordnungen gelten.
Andererseits gibt es durchaus positive Erfahrungen mit der rechtlichen Behandlung von
Maschinellem Lernen. Oben besprachen wir den US Fair Lending Act, der
Diskriminierungsschutz vorsieht (laut einer Industriequelle hat sich die Zahl der verwendeten
Kriterien seit 1990 von 15 auf 100 erhöht) – doch scheint dies nicht dazu geführt zu haben,
dass bestimmte Gruppen ganz vom Zugriff auf Kreditentscheidungen durch einen
Auditmechanismus ausgeschlossen werden – und zumindest nicht offensichtlich schlechter
189
Szollosy 2017, S. 1-6.
190
Schaerer 2009, S. 72-77.
191
Pagallo 2010, S. 397-404.
192
Für das UK mit weiterer Diskussion unten: Committee sets the agenda for new algorithmic ethics
agency, www.parliament.uk, 23. Mai 2018 [https://bit.ly/2s3D73u]; für die USA siehe etwa diesen
Gesetzesvorschlag: United States Cong. Senate. FUTURE of Artificial Intelligence Act of 2017. 115th
Cong. 1st sess. S.2217 [https://bit.ly/2zcUQJZ]. Siehe auch Lawmakers introduce bipartisan AI
legislation, The Hill, 12. Dezember 2017 [https://bit.ly/2AOJJpx].
109
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
mit algorithmischen Entscheidungen zurecht kommt als mit den menschlichen oder
mechanisch-regelbasierten Ansätzen.
In Großbritannien hat die oben erwähnte Studie der Financial Conduct Authority zu Big Data
im Versicherungsgewerbe zu einem ähnlichen Ergebnis geführt, obgleich die empirische
Grundlage eingeschränkt war (27 Antworten zum „Call for Evidence“ durch Industrie und
Konsumentengruppen, eine Reihe von Round Tables und die Analyse der Daten von 2
Preisvergleichsseiten). Zum einen können Big Data und Maschinelles Lernen alte Probleme
verstärken und beschleunigen, auch wenn die Analyse keine fundamental neuen
Problemszenarien identifizierte. Zum anderen aber kann sie auch den Wettbewerb erhöhen
und gerade Konsumenten mit untypischen Risikoprofilen angemessenere und niedrigere
Quotierungen geben.
Marktsegmentierung könnte, so die FCA, im schlimmsten Fall dazu führen, dass
Bevölkerungsgruppen von notwendigen (und erschwinglichen) Versicherungen ganz
ausgeschlossen werden. Hier sieht die FCA aber vor allem die Regierung in der Pflicht –
nicht Big Data und Algorithmen sind das Problem, sondern gesamtgesellschaftliche Ziele,
die am besten in Zusammenarbeit zwischen FCA, Industrie und Regierung erreicht werden;
hier weist die FCA insbesondere auf Flutversicherungen und Versicherungen für Behinderte
hin. Sie könnte auch dazu führen, dass der „Solidaritätsgedanke“ und das Pooling von
Risiko unterminiert werden. Die FCA identifiziert insbesondere Preisentscheidungen, die
weder durch eine Risikoevaluierung noch durch Kosten motiviert sind – Beispiele sind etwa
Browserverhalten, das anzeigt, dass der Kunde keine Preisvergleiche macht, oder Profile,
die andeuten, dass sich der Kunde wahrscheinlich beschweren wird. Zusammenfassend
findet die Studie, dass zwar einerseits Profile genauer werden oder genauere Risikoprofile
generell zu höheren Kosten für Versicherte geführt hätten. Im Gegenteil, so die FCA, deuten
die Daten darauf hin, dass es zwar wie immer Gewinner und Verlierer gibt, generell aber die
Auswirkungen von Big Data und Machine Learning für Verbraucher positiv waren und
gerade auch durch Preisvergleichsseiten zu erhöhtem Wettbewerb führten.193
Die FCA weist in diesem Zusammenhang auch auf die Erfahrung in den USA hin. In allen
Staaten (mit Ausnahme von Illinois) gelten Gesetze, nach denen „die Prämien nicht
unangemessen, übermäßig oder unfair diskriminierend sein dürfen“. Jeder Staat hat bei der
Umsetzung des Gesetzes zur Preisgestaltung einen etwas anderen Ansatz gewählt. Die
Mehrheit der Bundesstaaten hat bestimmte Formen der Preisoptimierung durch „Bulletins“,
eine Form von Richtlinien, definiert und in der definierten Form generell verboten. So gab
etwa im Februar 2015 das Ohio DOI das Bulletin 2015-01 heraus, dass Preisoptimierung als
„die Erfassung und Analyse von Daten in Bezug auf zahlreiche Charakteristiken für einen
bestimmten Versicherungsnehmer“ definiert, „die nicht mit dem Verlustrisiko oder Kosten in
Zusammenhang stehen". Als Beispiel werden die Preiselastizität der Nachfrage angegeben,
oder Verhaltensprofile, die vorhersagen, wie viel von einer Preiserhöhung ein bestimmter
Versicherungsnehmer tolerieren würde, bevor er den Versicherer wechselt. Maryland, Ohio,
Florida, Kalifornien und Vermont folgten diesem Modell. Andere Staaten sind
zurückhaltender, so hat das New York Department of Financial Services (NYDFS) in einem
193
Dies ist ein Argument, das gerade auch in den USA Unterstützung gefunden hat: In diesem Ansatz
sollten wir Verbraucher nicht nur als passive Opfer von Algorithmen sehen, sondern stattdessen den
„algorithmischen Verbraucher“ stärken, der diese Technologien auch zu seinem Vorteil nutzen kann.
Siehe z.B. Gal/Elkin-Koren 2017, S. 309; sehr viel skeptischer Stucke/Ezrachi 2017. Digitale
Assistenten als Gehilfen von Verbrauchern konnten im Rahmen dieser Studie nicht diskutiert werden,
doch werfen auch sie verbraucherschutzrechtliche Fragen auf – insbesondere über ihre „Loyalität“ zu
ihrem Benutzer.
110
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
Brief an die Versicherer vom 18.3.2016 angedeutet, dass einige Formen der
Preisoptimierung Gesetze gegen unfaires Verhalten verletzen könnten, aber den
Versicherungsunternehmen bislang nur aufgetragen, weitere Studien und Informationen zu
liefern. Einige Staaten halten existierende Regulierungen für ausreichend, sofern die
Preisoptimierung eine oder mehrere spezifischer Bedingungen (constraints) erfüllt, so zum
Beispiel, dass die Abweichung zwischen versicherungsmathematischem Risiko und dem
optimierten Preis nur innerhalb bestimmter Bandbreiten variiert, immer nur zu Gunsten des
Kunden variiert, und/oder bestimme Offenlegungspflichten erfüllt.194
Die Nationale Vereinigung der Versicherungskommissare (NAIC) – eine US-
Aufsichtsbehörde, die von Versicherungsaufsichtsbehörden aus allen 50 Staaten gegründet
und regiert wird – hat in einer diesbezüglichen Arbeit von 2015 empfohlen, die
Berücksichtigung folgender Faktoren zu verbieten: Preiselastizität der Nachfrage,
Bereitschaft zum Abschluss einer Versicherungspolice und die Neigung eines
Versicherungsnehmers, Fragen zu stellen oder Beschwerden einzureichen. Ähnliche
Verbote wurden auch für das UK als wünschenswert vorgeschlagen, wären aber auch dort
„agnostisch“ bezüglich der verwendeten Entscheidungsmethode und nicht
algorithmenspezifisch, auch wenn es die Verwendung von Algorithmen ist, die es sehr viel
leichter macht, diese Faktoren zu berücksichtigen. Von diesem Vorschlag abgesehen sieht
die FCA aber keinen Handlungsbedarf.
Diskussionen in den USA folgen einer ähnlichen Linie. So steht in einem Bericht des Weißen
Hauses: „Viele Unternehmen verwenden bereits Big Data für gezieltes Marketing und einige
experimentieren mit personalisierten Preisen. Auch gefördert durch […]
Preisdiskriminierung, basierend auf breiten demographischen Kategorien, hin zu
personalisierten Preisen.“ Doch fand diese Studie auch, dass sich die Methoden noch im
Experimentierstadium befinden.195
Ungeachtet der obigen Beispiele scheint eine personalisierte Preisgestaltung relativ selten
zu sein. In einer US-fokussierten Studie von Narayanan (2013) kommt der Autor zu dem
Ergebnis: „The mystery about online price discrimination is why so little of it seems to be
happening“. Ein Grund kann sein, dass Unternehmen feindliche Reaktionen der
Öffentlichkeit befürchten. Sowohl das Office of Fair Trading im Jahr 2010196 als auch das
Exekutivbüro des Präsidenten der Vereinigten Staaten im Jahr 2015197 kommen zu dem
Ergebnis, dass transparente und effiziente Märkte ausreichend sind, um problematische
Preisdiskriminierung zu verhindern. Von akademischer Seite war dies bereits 2009 von
Odlyzko vorhergesagt worden. „The main constraint on price discrimination comes from
society’s dislike of the practice.“ Er fügte hinzu: „What forms of price discrimination society
will accept. So we should expect experimentation, hidden as much as sellers can manage,
but occasionally erupting in protests, and those protests leading to sellers pulling back, at
least partially. And occasionally we should expect government action, when the protests
grow severe.“198 Die Reaktion auf die Anschuldigungen gegen die britischen Versicherer
zeigt, dass diese Einstellung auch 2018 vorherrschend ist – einer der Versicherer erwägt
Klage gegen die Journalisten, da der Reputationsschaden signifikant ist. Sowohl die FCA in
Großbritannien als auch die OFT in den USA gehen im Moment noch davon aus, dass
194
Casualty Actuarial and Statistical (C) Task Force, Price Optimization White Paper, 19. November
2015 [https://bit.ly/1NyfROF].
195
Executive Office des Präsidenten der Vereinigten Staaten 2015, S. 2-4.
196
Office of Fair Trading 2010.
197
Executive Office of the President of the United States (Council of Economic Advisors) 2015.
198
Odlyzko 2009.
111
