gi-studie-algorithmenregulierung
Dieses Dokument ist Teil der Anfrage „Gutachten des Sachverständigenrats für Verbraucherfragen“
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
Presse gemacht werden konnten.178 Die Journalisten hatten unter Benutzung verschiedener
Namen, aber ansonsten identischer Angaben Quotierungen für eine Fahrzeugversicherung
beantragt. „Mohameds“ wurden dabei systematisch höhere Raten angeboten als „Johns“. Es
muss angemerkt werden, dass beide genannten Versicherungen die Vorwürfe strikt
zurückweisen. Sie argumentieren, dass die unterschiedlichen Angebote entweder
„unvergleichbar“ gewesen seien, da sie neben dem Preis auch in den Leistungen
unterschiedlich waren, dass die Journalisten die Preisstruktur nicht richtig verstanden hätten
oder dass die Verwendung identischer Daten trotz verschiedener Namen den
Betrugswarnungsalgorithmus ausgelöst hätte und dies zu unterschiedlichen Resultaten
führte.179
Wenngleich die Probleme und Diskussionen daher nicht neu sind, und in dieser Hinsicht
bislang Regulierung oder Selbstregierung scheinbar wenig Erfolg hatten, zeigt eine
genauere Analyse dieses und ähnlicher Fälle aus den USA und Großbritannien auch, wie
sich seit 1982 das gesellschaftliche und politische Umfeld geändert hat. Waren es in den
80ern ausschließlich Wissenschaftler mit dem notwendigen Fachwissen, so waren es in
diesem und einer Reihe ähnlicher Fälle Enthüllungsjournalisten, die den Algorithmus
testeten. Ihre Methoden waren einerseits sehr einfach, schnell und billig, andererseits aber
auch nicht sehr systematisch: Einige Faktoren wurden kontrolliert, andere nicht, ohne dass
eine besondere Systematik erkennbar wäre. So wurden verschiedene Computer mit
verschiedenen IP-Adressen verwendet, um auszuschließen, dass der angebotene Preis das
Ergebnis von „personeller Preiskalkulation“ war, die außer den groben Kategorien aus dem
Antragsformular auch noch Daten der individuellen Onlineinteraktion, wie z.B die
Geolokalisierung des Kunden, hinzunimmt.180 Dies zeigt einerseits, dass die Sorge, dass
sich die algorithmische Blackbox prinzipiell der gesellschaftlichen Aufsicht entzieht,
unbegründet ist. Insbesondere auch dann, wenn wie im Fall der COMPAS-Enthüllungen181
zum rassistischen Strafbemessungsalgorithmus Wissenschaftler und Journalisten
zusammenarbeiteten,182 waren die Ergebnisse überzeugend und erzeugten nun auch in der
breiteren Öffentlichkeit den Ruf nach staatlicher Regulierung – wie unter anderem die
Einreichungen zu den öffentlichen Konsultationen zeigen.
Andererseits offenbaren diese Beispiele auch die Grenzen solcher Analysen durch
Privatpersonen: Sowohl in Großbritannien als auch den USA haben die Firmen, die die
Algorithmen entwickelten (USA) oder verwendeten (UK), die Schlussfolgerung, dass eine
ungerechtfertigte Diskriminierung vorliegt, zurückgewiesen. Dabei traten sie keinen
Gegenbeweis an, sondern beschränkten sich darauf, mögliche Fehlerquellen in den Studien
aufzuzeigen. Für uns belegt dies die Notwendigkeit standardisierter und extern validierter
Prüfungsschemata und Methoden als Minimum.
178
Ben Leo, Motorists fork out £1,000 more to insure their cars if their name is Mohammed, The Sun,
22. Januar 2018 [https://bit.ly/2Bl2MGE], siehe auch DecisionMarketing, Admiral Insurance hit by big
data discrimination claims, 24. Januar 2018 [https://bit.ly/2CBk1tt].
179
Vic Motune, Are black drivers paying more car insurance?, The Voice vom 17. Februar 2018
[https://bit.ly/2wWlqFM].
180
Personalisierte Preissetzung ist möglich und wird auch von einigen Unternehmen verwendet, doch
zeigt eine Studie für die US-Regierung, dass bislang (Stand 2015) dies noch die Ausnahme zu sein
scheint. Siehe Executive Office of the President of the United States (Council of Economic Advisors)
2015: Big Data and Differential Pricing.
181
Angwin et al. 2016.
182
Die zentrale Rolle von Journalisten in der Kontrolle von Algorithmen und die Entwicklung neuer
Trainingsprogramme und Ressourcen werden diskutiert von Catalina Albeanu: What journalists can
do to hold algorithms to account, Journalism UK 14.4.2018 [https://bit.ly/2qsZhL0].
105
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
Zu überlegen ist auch, wie das „Nichtbestehen“ eines solchen Tests rechtlich zu behandeln
ist, und wie wir sehen werden, haben andere Länder unterschiedliche Vorschläge entwickelt
– so könnte es wie im oben angeführten Beispiel des Fair Lending Acts eine widerlegbare
Vermutung der Diskriminierung erzeugen, die dann entweder dadurch entkräftet werden
kann, dass Fehler in der Anwendung der Methode gerügt werden, oder sie können den
Benutzer verpflichten einen positiven Gegenbeweis anzutreten und die Nichtdiskriminierung
des Algorithmus darzulegen (was dann wiederum verschiedene Beibringungs- und
Offenlegungspflichten begründen kann). Alternativ kann das Nichtbestehen der Prüfung das
Versagen eines Gütezeichens bedeuten, und damit gegebenenfalls das Verbot, in
bestimmten Bereichen tätig zu sein.183
In der rechtlichen Reaktion auf den angeblich diskriminierenden Versicherungsalgorithmus
im UK finden wir beide Modelle – so ist das Unternehmen gegenwärtig Gegenstand einer
Untersuchung durch die Financial Conduct Authority, die noch 2016 nach der Analyse eines
ersten „Calls for Inputs“ abgelehnt hatte, eine Untersuchung zu „Big Data und
Versicherungswirtschaft“ zu initiieren, da ihrer Ansicht nach die Auswirkung von Big Data
Analytics und automatisiertem Scoring für Verbraucher „generell positiv“ sei.184 Hier können
die Sanktionen von einem Verbot des spezifischen Algorithmus zu Strafgebühren oder sogar
zum Lizenzentzug führen. Gleichzeitig hat der ehemalige Vorsitzende der Equality and
Human Rights Commission (EHRC) angedeutet, dass eine Ermittlung der betroffenen
Versicherungsunternehmen unter Art. 20 des Equality Acts 2006 durch die EHRC
wahrscheinlich sei. Art. 20 verlangt nur einen Anfangsverdacht („suspicion“, schwächer als
die „reasonable suspicion“, die vor der Gesetzesreform 2006 notwendig war und zu sehr
vorsichtiger Handhabung führte). Eine Bedingung, die durch Studien wie die durch die BBC
und Sun Newspaper durchgeführten problemlos erfüllen. Typischerweise wird die EHRC
versuchen, eine Einigung mit dem Unternehmen zu erreichen, bevor eine offizielle
Untersuchung durchgeführt wird. In beiden Fällen ist das Ergebnis in der Regel ein
verbindlicher Handlungsplan, der zur Beseitigung der Diskriminierung führen soll (Art. 22
und 23 des EA 2006). Möglich ist auch das Erlangen eines Gerichtsbeschlusses zum
sofortigen Verhindern diskriminierenden Verhaltens (Art. 24 EA 2006); dies ist auch das
Verfahren, wenn ein Unternehmen einen Handlungsplan nicht umsetzt.
Möglich wäre auch eine Ermittlung durch das Information Commissioner’s Office, doch gibt
es bislang keine Stellungnahme des ICO zu diesem bestimmten Fall. Dies ist für
Großbritannien nicht untypisch – einerseits ist das ICO bereit, datenschutzrelevante
Verletzungen durch Algorithmen zu untersuchen und zu unterbinden, doch wenn das
Problem wie hier primär eine Verletzung von Gleichheitsbestimmungen ist, besteht die
Tendenz dies zumindest im ersten Zugriff dem Equality and Human Rights Commissioner
oder wenn anwendbar Fachaufsichtsbehörden wie der Financial Service Authority zu
überlassen. Im Falle der Versicherungen waren das Problem nicht inakkurate Daten oder
eine fehlende Rechtsgrundlage der Datenverarbeitung, und das ICO scheint zurückhaltend
zu sein einen Begriff der Fairness und Transparenz zu entwickeln, der zu weit von einem
Individualrechtsverständnis abweicht und negative Auswirkungen auf ganze Gruppen hat.
Was die britische Fallstudie auch zeigt, ist, dass diskriminierende Algorithmen häufig in den
Zuständigkeitsbereich mehrerer Aufsichtsbehörden und Rechtsgebiete fallen, in diesem Fall
ICO, EHRC und FCA. Von diesen hat im Moment die Financial Service Authority das größte
183
So der Vorschlag eines Algorithm Safety Impact Assessments, vgl. Shneiderman 2016, S. 13538-
13540.
184
Financial Conduct Authority 2016; siehe auch DecisionMarketing, Insurers off the hook as FCA
rules out big data probe, 22. September 2016 [https://bit.ly/2O3Fyw6].
106
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
Fachwissen, wenn es um technische Fragen geht – hier z.B. ob die Diskriminierung durch
Geburtsnamen, die stark mit in der Entscheidungsfindung verbotenen ethnischen
Merkmalen korreliert, trotzdem empirisch rechtfertigbar ist.185 Eine mögliche
Algorithmenaufsichtsbehörde muss vermeiden, Aufgaben, die diese Behörden auch
weiterhin durchführen müssen, zu duplizieren. Zum anderen bedeutet dies, dass eine
einheitliche Methode oder ein universales „Fairness Certificate“ wahrscheinlich nicht zu
erreichen ist. So sind wie gesehen die Bedürfnisse des EHRC (nur geringer
Anfangsverdacht notwendig, nur Diskriminierung gegen sieben im Equality Act genannte
Gruppen relevant) anders als die der Financial Conduct Authority. Diese verlangt eine
höhere Beweisschwelle, hat aber ein weiteres Aufgabenfeld, das auch die Auswirkung auf
den Wettbewerb und die Frage, ob einige Gruppen ganz von erschwinglichen Produkten
ausgeschlossen sind, abdeckt. So hat die Financial Conduct Authority in ihrer Analyse des
„Calls for Input“ zwar geschlossen, das alle Preisermittlungen, die weder risiko- noch
nachfragebasiert sind, ein potenzielles Problem darstellen. Eine etwas detailliertere
Diskussion des FCA-Berichts findet sich unten.
b) In Hinsicht auf diskriminierende Algorithmen bezieht sich die Besorgnis mit wenigen
Ausnahmen auf die Durchsetzung und Durchsetzbarkeit bestehender
Diskriminierungsverbote. Nur vereinzelt finden sich Stimmen, die argumentieren, dass
algorithmische Diskriminierung ein neuer Diskriminierungstyp ist, der der gesonderten
Regelung bedarf. In den USA sind solche Diskussionen zusätzlich durch die extensive
Interpretation der verfassungsrechtlich garantierten Redefreiheit eingeschränkt, die über die
Jahre mehr und mehr auch auf kommerzielle Rede ausgedehnt wurde. Die genaue
Einordnung von algorithmischen Entscheidungen als „Rede“ bleibt dabei umstritten186, kann
aber den gesetzgeberischen Handlungsspielraum auch im Verbraucherschutz weitgehender
einschränken, als dies in Deutschland der Fall wäre.187
c) Wir fanden nur wenige Stimmen, die fordern, für algorithmische Entscheidungen den
Haftungstyp zu ändern und insbesondere verstärkt verschuldungsunabhängige Haftung zu
verwenden, wenn dies nicht auch schon der Haftungstyp für die manuelle Entscheidung ist –
in dieser Hinsicht unterscheidet sich die Debatte zu algorithmischen Entscheidungen in den
Problemszenarien von der parallel stattfindenden Diskussion über die Haftung von physisch
implementierten Algorithmen (Robotik), in der derartige Ideen weiter verbreitet sind.188 Die
Entscheidung Algorithmen zu verwenden wird als eine zurechenbare Entscheidung ihrer
Besitzer begriffen, die diese dadurch weder besser- noch schlechterstellen soll – in
Fortführung eines alten Gedanken aus der Internetregulierung, was menschlichen
Entscheidungsfindern erlaubt/verboten ist, soll dies auch auf Algorithmen anwendbar sein.
Was Algorithmen zu einem Problem der Regulierung macht, ist damit primär die
185
So hatten Versicherer in einem früheren Fall im Jahr 2010, der damals auch von der
Verbraucherschutzorganisation Which aufgedeckt wurde, argumentiert, dass Diskriminierungen
gegen im Ausland aufgewachsene Fahrer (unabhängig von ethnischer Herkunft oder Nationalität)
belegbar ein größeres Risiko darstellen [https://bit.ly/2N3PngS].
186
Siehe z.B. Benjamin 2012, S. 1445; Massaro/Norton 2015, S. 1169.
187
Zum potenziellen Konflikt zwischen „First Amendment“-Schutz für algorithmische Rede und
Verbraucherschutz siehe Balkin 2017.
188
So etwa die EU Motion For A European Parliament Resolution with Recommendations to the
Commission on Civil Law Rules on Robotics (2015/2103(INL); mit vergleichender Analyse
europäischer Ansätze: Final Report Summary - ROBOLAW (Regulating Emerging Robotic
Technologies in Europe: Robotics facing Law and Ethics), rechtsvergleichend siehe auch Kelley et al.
2010, S. 1861-1871.
107
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
Durchsetzung bestehender Normen, und der Beweis der Normverletzung, nicht das
materielle Recht.
d) Bislang allerdings hat diese Besorgnis noch nicht zu abgeschlossenen Reformprojekten
außerhalb des Datenschutzrechts geführt. So haben wir keine Beispiele gefunden, in denen
es zu einer Änderung des materiellen Verbraucherschutzrechts durchgeführt. Frankreich, als
eine mögliche Ausnahme, hat zwar einen generellen „Fairnessparagrafen“ in Sec 3 Art. 13
des neuen Loi n°2016-1321 pour une République numérique (Digitale-Republik-Gesetz)
eingeführt, der dem Verbraucherschutz dienen soll. Wie wir sehen werden, behandelt dieser
aber nicht die Szenarien, die im Zentrum dieser Studie stehen, sondern reguliert primär
Rankingalgorithmen auf Onlineplattformen und Onlinemärkten.
Vergleichsweise weiter vorangeschritten sind Vorhaben, eine „Algorithmenbehörde“ zu
errichten. Dies ist etwa im Haushalt der britischen Regierung vorgesehen, der ein „Centre for
Data Ethics and Innovation“ vorschlägt, dessen genaue Aufgaben und Befugnisse am
17.1.2018 Gegenstand einer parlamentarischen Debatte waren.
Auch diese sind aber noch nicht umgesetzt worden, so dass Erfahrungen mit ihrer
Anwendung, ihrer Effizienz, ihren Kosten und ihrer öffentlichen Akzeptanz weiterhin fehlen.
Indirekt gelernt werden kann aber durch die Anhörungen und Konsultationen, die auf breiter
Basis stattfanden und auch Bedenken aus Industrie und rechtlicher Praxis aufgegriffen
haben.
e) Auch wenn es weitgehend Übereinstimmung darüber gibt, wie problematische
algorithmische Entscheidungen lebensweltlich aussehen (die Arten von Szenarios, die
diskutiert werden, sind denen in unserer Studie sehr ähnlich), gibt es keinen Konsens
darüber, welche Rechtsgebiete primär betroffen sind. Dies führt auch dazu, dass es keinen
Konsens gibt, ob es rechtlicher Änderungen bedarf, einer besseren Selbstregulierung der
Industrie (unter Umständen durch flankierende Maßnahmen, um einen effektiven Markt
sicherzustellen), technologischer Lösungen (gegebenenfalls mit flankierenden Maßnahmen
zur Standardisierung durch ISOs oder ähnliche Kitemarks), oder ob prozessrechtliche
Schritte (einschließlich Kostenentscheidungen) einen besserer Weg darstellen. In den
Antworten zu diesen Fragen zeigen sich die Auswirkungen von historisch gewachsenen und
gesellschaftlichen Unterschieden zwischen den Rechtsordnungen besonders deutlich.
6.2 Klassifizierung der Debatten
Wie oben unter e) gesehen, gibt es bislang noch keinen Konsens darüber, wie das Problem
der algorithmischen Diskriminierung begrifflich einzuordnen ist. In einer ersten Annäherung
können die Vorschläge in Gruppen zusammengefasst werden.
6.2.1 Analoge Anwendung bestehenden Rechts
Es sollte nicht als gegeben betrachtet werden, dass die neue Technologie rechtlichen
Handlungsbedarf erzeugt. Gerade in Fragen der Technikregulierung lenkt häufig die
oberflächliche Neuheit der Technologie davon ab, die zugrundeliegenden und häufig sehr
viel älteren gesellschaftlichen Probleme und Fragestellungen wiederzuerkennen. Wir sehen
dies in einem eng verwandten Fragegebiet, der Regulierung der Robotik als verkörperter KI.
Hier fluktuiert die Diskussion zwischen Positionen, die eine radikal neue Problemlage
108
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
identifizieren und ihr mit neuen rechtlichen Konzepten wie der E-Person begegnen wollen,189
und solchen, die vor allem die Ähnlichkeit mit altbekannten Problemen wie etwa der
Verantwortlichkeit für Hunde und Pferde hervorheben190 und auf eine analoge Anwendung
von Begrifflichkeiten aus dem 19. Jahrhundert – oder sogar der römischen Republik191 –
setzen.
In dem Ausmaß, in dem verschiedene Rechtsordnungen eine „mentalité“ oder kognitive
Grundeinstellung haben, tendieren Common-Law-Rechtsordnungen zu letzterem Ansatz, mit
einem (im Abnehmen befindenden) Misstrauen gegen gesetzliche Lösungen und stärkerem
Vertrauen in die Fähigkeit der Gerichte, im Wege der Analogie angemessene Lösungen im
Einzelfall zu finden. Auch haben die USA und das UK wohl eine größere Bereitschaft,
marktbasierte Ansätze und Selbstregulierung in den Vordergrund zu stellen. Man sollte
diese Unterschiede aber nicht überbetonen, und wie oben ausgeführt sind auch in diesen
Ländern Diskriminierungsverbote durch formale Gesetze eingeführt worden.
Gegeben diese „philosophischen“ Vorentscheidungen, kann man trotzdem aus den
Erfahrungen dieser Rechtsordnungen Argumente für oder gegen einen Handlungsbedarf
finden? Dies führt zu einem Paradox: Das in der Diskussion prominenteste Problem mit
lernenden Algorithmen ist ihre fehlende Transparenz. Wenn es nun nur wenige identifizierte
Fälle von rechtswidrigem Entscheiden gibt, heißt dies, dass bestehende Gesetze dem
Missbrauch effizient vorbeugen oder dass sie so ineffizient sind, dass weitgehender
Missbrauch gar nicht mehr entdeckt werden kann? Die öffentliche Diskussion ist in starkem
Maße durch die Identifizierung von missbräuchlichen und diskriminierenden Algorithmen
geprägt worden. Heißt dies, dass anders als befürchtet Ex-post-Analysen von Algorithmen
leicht möglich und effizient sind, oder sind diese Fälle nur nichtrepräsentative Beispiele
eines viel fundamentaleren Problems?
Trotz dieser methodischen Probleme gibt uns eine rechtsvergleichende Analyse zumindest
einige neue Datenpunkte. Zum einen ist wie oben angeführt das Problembewusstsein über
Rechtsordnungen und rechtliche Traditionen hinweg sehr hoch, und wie wir unten sehen
werden, ist es sehr wahrscheinlich, dass die USA und das UK schon sehr bald durch
Gesetzgebung neue Institutionen zur Regulierung von Algorithmen einführen werden.192
Wenn sogar in Rechtsordnungen, die tendenziell unternehmerfreundlich und
gesetzeskritisch sind, starker Handlungsbedarf besteht, sollte dies a fortiori auch für
kontinentaleuropäische Rechtsordnungen gelten.
Andererseits gibt es durchaus positive Erfahrungen mit der rechtlichen Behandlung von
Maschinellem Lernen. Oben besprachen wir den US Fair Lending Act, der
Diskriminierungsschutz vorsieht (laut einer Industriequelle hat sich die Zahl der verwendeten
Kriterien seit 1990 von 15 auf 100 erhöht) – doch scheint dies nicht dazu geführt zu haben,
dass bestimmte Gruppen ganz vom Zugriff auf Kreditentscheidungen durch einen
Auditmechanismus ausgeschlossen werden – und zumindest nicht offensichtlich schlechter
189
Szollosy 2017, S. 1-6.
190
Schaerer 2009, S. 72-77.
191
Pagallo 2010, S. 397-404.
192
Für das UK mit weiterer Diskussion unten: Committee sets the agenda for new algorithmic ethics
agency, www.parliament.uk, 23. Mai 2018 [https://bit.ly/2s3D73u]; für die USA siehe etwa diesen
Gesetzesvorschlag: United States Cong. Senate. FUTURE of Artificial Intelligence Act of 2017. 115th
Cong. 1st sess. S.2217 [https://bit.ly/2zcUQJZ]. Siehe auch Lawmakers introduce bipartisan AI
legislation, The Hill, 12. Dezember 2017 [https://bit.ly/2AOJJpx].
109
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
mit algorithmischen Entscheidungen zurecht kommt als mit den menschlichen oder
mechanisch-regelbasierten Ansätzen.
In Großbritannien hat die oben erwähnte Studie der Financial Conduct Authority zu Big Data
im Versicherungsgewerbe zu einem ähnlichen Ergebnis geführt, obgleich die empirische
Grundlage eingeschränkt war (27 Antworten zum „Call for Evidence“ durch Industrie und
Konsumentengruppen, eine Reihe von Round Tables und die Analyse der Daten von 2
Preisvergleichsseiten). Zum einen können Big Data und Maschinelles Lernen alte Probleme
verstärken und beschleunigen, auch wenn die Analyse keine fundamental neuen
Problemszenarien identifizierte. Zum anderen aber kann sie auch den Wettbewerb erhöhen
und gerade Konsumenten mit untypischen Risikoprofilen angemessenere und niedrigere
Quotierungen geben.
Marktsegmentierung könnte, so die FCA, im schlimmsten Fall dazu führen, dass
Bevölkerungsgruppen von notwendigen (und erschwinglichen) Versicherungen ganz
ausgeschlossen werden. Hier sieht die FCA aber vor allem die Regierung in der Pflicht –
nicht Big Data und Algorithmen sind das Problem, sondern gesamtgesellschaftliche Ziele,
die am besten in Zusammenarbeit zwischen FCA, Industrie und Regierung erreicht werden;
hier weist die FCA insbesondere auf Flutversicherungen und Versicherungen für Behinderte
hin. Sie könnte auch dazu führen, dass der „Solidaritätsgedanke“ und das Pooling von
Risiko unterminiert werden. Die FCA identifiziert insbesondere Preisentscheidungen, die
weder durch eine Risikoevaluierung noch durch Kosten motiviert sind – Beispiele sind etwa
Browserverhalten, das anzeigt, dass der Kunde keine Preisvergleiche macht, oder Profile,
die andeuten, dass sich der Kunde wahrscheinlich beschweren wird. Zusammenfassend
findet die Studie, dass zwar einerseits Profile genauer werden oder genauere Risikoprofile
generell zu höheren Kosten für Versicherte geführt hätten. Im Gegenteil, so die FCA, deuten
die Daten darauf hin, dass es zwar wie immer Gewinner und Verlierer gibt, generell aber die
Auswirkungen von Big Data und Machine Learning für Verbraucher positiv waren und
gerade auch durch Preisvergleichsseiten zu erhöhtem Wettbewerb führten.193
Die FCA weist in diesem Zusammenhang auch auf die Erfahrung in den USA hin. In allen
Staaten (mit Ausnahme von Illinois) gelten Gesetze, nach denen „die Prämien nicht
unangemessen, übermäßig oder unfair diskriminierend sein dürfen“. Jeder Staat hat bei der
Umsetzung des Gesetzes zur Preisgestaltung einen etwas anderen Ansatz gewählt. Die
Mehrheit der Bundesstaaten hat bestimmte Formen der Preisoptimierung durch „Bulletins“,
eine Form von Richtlinien, definiert und in der definierten Form generell verboten. So gab
etwa im Februar 2015 das Ohio DOI das Bulletin 2015-01 heraus, dass Preisoptimierung als
„die Erfassung und Analyse von Daten in Bezug auf zahlreiche Charakteristiken für einen
bestimmten Versicherungsnehmer“ definiert, „die nicht mit dem Verlustrisiko oder Kosten in
Zusammenhang stehen". Als Beispiel werden die Preiselastizität der Nachfrage angegeben,
oder Verhaltensprofile, die vorhersagen, wie viel von einer Preiserhöhung ein bestimmter
Versicherungsnehmer tolerieren würde, bevor er den Versicherer wechselt. Maryland, Ohio,
Florida, Kalifornien und Vermont folgten diesem Modell. Andere Staaten sind
zurückhaltender, so hat das New York Department of Financial Services (NYDFS) in einem
193
Dies ist ein Argument, das gerade auch in den USA Unterstützung gefunden hat: In diesem Ansatz
sollten wir Verbraucher nicht nur als passive Opfer von Algorithmen sehen, sondern stattdessen den
„algorithmischen Verbraucher“ stärken, der diese Technologien auch zu seinem Vorteil nutzen kann.
Siehe z.B. Gal/Elkin-Koren 2017, S. 309; sehr viel skeptischer Stucke/Ezrachi 2017. Digitale
Assistenten als Gehilfen von Verbrauchern konnten im Rahmen dieser Studie nicht diskutiert werden,
doch werfen auch sie verbraucherschutzrechtliche Fragen auf – insbesondere über ihre „Loyalität“ zu
ihrem Benutzer.
110
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
Brief an die Versicherer vom 18.3.2016 angedeutet, dass einige Formen der
Preisoptimierung Gesetze gegen unfaires Verhalten verletzen könnten, aber den
Versicherungsunternehmen bislang nur aufgetragen, weitere Studien und Informationen zu
liefern. Einige Staaten halten existierende Regulierungen für ausreichend, sofern die
Preisoptimierung eine oder mehrere spezifischer Bedingungen (constraints) erfüllt, so zum
Beispiel, dass die Abweichung zwischen versicherungsmathematischem Risiko und dem
optimierten Preis nur innerhalb bestimmter Bandbreiten variiert, immer nur zu Gunsten des
Kunden variiert, und/oder bestimme Offenlegungspflichten erfüllt.194
Die Nationale Vereinigung der Versicherungskommissare (NAIC) – eine US-
Aufsichtsbehörde, die von Versicherungsaufsichtsbehörden aus allen 50 Staaten gegründet
und regiert wird – hat in einer diesbezüglichen Arbeit von 2015 empfohlen, die
Berücksichtigung folgender Faktoren zu verbieten: Preiselastizität der Nachfrage,
Bereitschaft zum Abschluss einer Versicherungspolice und die Neigung eines
Versicherungsnehmers, Fragen zu stellen oder Beschwerden einzureichen. Ähnliche
Verbote wurden auch für das UK als wünschenswert vorgeschlagen, wären aber auch dort
„agnostisch“ bezüglich der verwendeten Entscheidungsmethode und nicht
algorithmenspezifisch, auch wenn es die Verwendung von Algorithmen ist, die es sehr viel
leichter macht, diese Faktoren zu berücksichtigen. Von diesem Vorschlag abgesehen sieht
die FCA aber keinen Handlungsbedarf.
Diskussionen in den USA folgen einer ähnlichen Linie. So steht in einem Bericht des Weißen
Hauses: „Viele Unternehmen verwenden bereits Big Data für gezieltes Marketing und einige
experimentieren mit personalisierten Preisen. Auch gefördert durch […]
Preisdiskriminierung, basierend auf breiten demographischen Kategorien, hin zu
personalisierten Preisen.“ Doch fand diese Studie auch, dass sich die Methoden noch im
Experimentierstadium befinden.195
Ungeachtet der obigen Beispiele scheint eine personalisierte Preisgestaltung relativ selten
zu sein. In einer US-fokussierten Studie von Narayanan (2013) kommt der Autor zu dem
Ergebnis: „The mystery about online price discrimination is why so little of it seems to be
happening“. Ein Grund kann sein, dass Unternehmen feindliche Reaktionen der
Öffentlichkeit befürchten. Sowohl das Office of Fair Trading im Jahr 2010196 als auch das
Exekutivbüro des Präsidenten der Vereinigten Staaten im Jahr 2015197 kommen zu dem
Ergebnis, dass transparente und effiziente Märkte ausreichend sind, um problematische
Preisdiskriminierung zu verhindern. Von akademischer Seite war dies bereits 2009 von
Odlyzko vorhergesagt worden. „The main constraint on price discrimination comes from
society’s dislike of the practice.“ Er fügte hinzu: „What forms of price discrimination society
will accept. So we should expect experimentation, hidden as much as sellers can manage,
but occasionally erupting in protests, and those protests leading to sellers pulling back, at
least partially. And occasionally we should expect government action, when the protests
grow severe.“198 Die Reaktion auf die Anschuldigungen gegen die britischen Versicherer
zeigt, dass diese Einstellung auch 2018 vorherrschend ist – einer der Versicherer erwägt
Klage gegen die Journalisten, da der Reputationsschaden signifikant ist. Sowohl die FCA in
Großbritannien als auch die OFT in den USA gehen im Moment noch davon aus, dass
194
Casualty Actuarial and Statistical (C) Task Force, Price Optimization White Paper, 19. November
2015 [https://bit.ly/1NyfROF].
195
Executive Office des Präsidenten der Vereinigten Staaten 2015, S. 2-4.
196
Office of Fair Trading 2010.
197
Executive Office of the President of the United States (Council of Economic Advisors) 2015.
198
Odlyzko 2009.
111
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
staatliches Handeln (governmental action) nur vereinzelt und dann typischerweise als
„Versicherer des letzten Auswegs“ in Erscheinung tritt.
Schlussendlich sei auf eine Gerichtsentscheidung aus Finnland hingewiesen.199 Das
finnische Nichtdiskriminierungs- und Gleichstellungstribunal hatte einen Fall geprüft, in dem
ein Kreditantrag aus statistischen Gründen aufgrund des Geschlechts, der Sprache, des
Alters und des Wohngebiets des Antragstellers abgelehnt worden war. Das Gericht brachte
vor, dass das System Menschen, die andere Sprachen als Finnisch und Schwedisch
sprechen, benachteilige. Das Schiedsgericht befand, das Finanzinstitut habe
„diskriminierendes statistisches Profiling“ vorgenommen, und hat das Finanzinstitut
angewiesen, statistische Methoden nicht „diskriminierend“ zu benutzen. Die Verwendung
Künstlicher Intelligenz bei Kreditentscheidungen wurde nicht verboten, aber eine Geldstrafe
von 100.000 Euro auf Bewährung soll sicherstellen, dass es zu keinen weiteren
Diskriminierungen kommt. Das Gericht ist eine unabhängige, vom Kabinett ernannte Stelle.
Es kontrolliert die Gleichheit sowohl im privaten als auch im öffentlichen Sektor,
ausgenommen innerfamiliäre Angelegenheiten und Religion. Es kann Verbote aussprechen,
aber keine Entschädigung verlangen. Vor dem Verfahren hatte der finnische
Gleichstellungsombudsmann Gespräche mit dem Finanzinstitut geführt, um eine für beide
Seiten annehmbare Lösung zu finden.
Dieses Kapitel behandelte Erfahrungen mit der Anwendung bestehender Gesetze auf
automatische Entscheidungen. Common-Law-Rechtsordnungen, aber auch ein Gericht aus
der nordischen/kontinentaleuropäischen Familie haben gezeigt, dass dies zumindest nicht
unmöglich ist. Dies sollte keine Überraschung sein: Das am meisten in der Diskussion
genannte Problem mit algorithmischer Entscheidungsfindung ist der Mangel an
Transparenz, die Angst vor der Blackbox. Aber auch menschliche Entscheidungen sind
zumindest teilweise opak. So verlangen wir etwa von Richtern nur, dass sie objektiv
nachvollziehbare Entscheidungsgründe angeben und dass sie offensichtliche
diskriminierende Einflüsse erkennen und vermeiden. Wir verlangen aber keine
psychologische Evaluierung, die subtile Vorurteile und Vorlieben während der formativen
Jahre aufdeckt. Ähnlich können Ansätze zum Algorithmenauditing verstanden werden. Sie
haben sich bei der Identifizierung von direkter und häufig auch den offensichtlicheren
Beispielen indirekter Diskriminierung durchaus bewährt, auch wenn es schwer sein wird,
sehr indirekte Diskriminierung, die Vorhersage von verbotenen Merkmalen aufgrund einer
Kette von Abhängigkeiten zu erlaubten Merkmalen gegen sehr spezifische Gruppen mit sich
überschneidenden Merkmalen (z.B. eine Kombination aus Alter, Ethnizitäten und
Geschlecht), zu identifizieren. Die Frage ist, wie weit diese Analogie geführt werden soll. So
scheint es auch im internationalen Vergleich breiten Konsens zu geben, dass die
Verwendung von Algorithmen nicht dazu führen darf, bestehende
Antidiskriminierungsgesetze zu umgehen. Was Menschen verboten ist, darf Algorithmen
nicht erlaubt sein.200 Die Frage aber bleibt, ob der Umkehrschluss auch gelten soll.
Menschen erwerben ihre Vorurteile durch komplexes soziales Lernen über Jahre hinweg, so
dass es unmöglich ist, sicher zu sein, ob eine gegebene Entscheidung das Ergebnis einer
ungerechtfertigten, erlernten Generalisierung war. Nun „lernen“ zwar auch Algorithmen,
doch wie wir im technischen Teil gesehen haben, ist dies im Maschinellen Lernen nicht ganz
199
Daily Finland, 26.04.2018: Credit decisions - Discrimination through artificial intelligence banned,
zuletzt online am 08.08.2018 [https://bit.ly/2NtnkqJ].
200
Entgegenstehende Meinungen sind selten – so aber argumentiert etwa Gal/Elkin-Koren (2017),
dass „algorithmische Verbraucher“ so viel besser Diskriminierung durch andere Algorithmen
vermeiden können und rechtliche Diskriminierungsverbote abgeschwächt werden können.
112
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
das Gleiche, und Trainingsdaten und Modelle können im Prinzip zugänglich gemacht und
analysiert werden.
Damit kommt dieses Kapitel zu einem vorsichtig-optimistischen Ergebnis: Unabhängig von
rechtlicher Tradition ist ein Regulierungsbedarf identifiziert worden – Unterschiede bestehen
im Ausmaß und in der Methodik. Regulierung ist aber auch möglich, die Blackbox nicht
Schicksal, wie es einige Anhänger des Technikdeterminismus behaupten. Selbst relativ
einfache Methoden der Analyse der Ergebnisse von Algorithmen und etwaiger
problematischer Verhaltensmuster und Methoden, die sich in der Analyse
nichtalgorithmischer Diskriminierung bewährt haben, erlaubten die Identifizierung
diskriminierender Algorithmen und angemessene rechtliche Sanktionen.
6.2.2 Neue gesetzliche Fairnessgebote und eine „Lex algoritmica“
Diametral entgegengesetzt sowohl in ihrer Einschätzung der Problemlage als auch in ihren
Lösungsvorschlägen sind Ansätze, die gesetzlich gänzlich neue und technologiespezifische
Diskriminierungsverbote oder Fairnessgebote einführen. Vorschläge dieser Art sind primär in
der akademischen Diskussion zu finden.201
Konkrete Umsetzungen sind selten, ein potenzielles Beispiel findet sich aber im neuen
französischen Digitalgesetz oder Gesetz für eine Digitale Republik (Loi n°2016-1321 pour
une République numérique).202 Abschnitt 3 des Gesetzes befasst sich mit
„Plattformfairness.“
Artikel 13: Im Rahmen der jährlichen Erhebung des Conseil d‘Etat zu digitalen Technologien
und Grundrechte („Numérique et droits fondamentaux“) im Jahr 2014 wurden Plattformen im
Wesentlichen als Inhaltslisten und Ranglisten von Dritten definiert. Dies beinhaltet
Suchmaschinen, soziale Netzwerke, Marktplätze usw. Schon die ersten Studien zu
algorithmischer Diskriminierung aus den 1990ern hatten, wie wir gesehen haben,
Plattformen als aktive Vermittler identifiziert, deren Rolle bei weitem nicht neutral ist. Da
einige dieser Plattformen sehr einflussreich geworden sind, kann es durchaus zu Verstößen
gegen bestehende Rechtsvorschriften kommen, insbesondere gegen die Fairness
gegenüber den Verbrauchern, aber auch gegenüber Unternehmen, deren Ranking nach
unten manipuliert wurde.
Artikel 13 sieht vor, dass in Artikel L.111-5-1 des Verbraucherschutzgesetzes eine Definition
von Onlineplattformen aufgenommen wird, und verpflichtet Plattformen zur Fairness
gegenüber Benutzern. Die Verpflichtung umfasst ihre allgemeinen Nutzungsbedingungen
und die Methoden für die Auflistung, das Ranking / die Klassifizierung und das Delisting von
Onlineangeboten. Die Offenlegung der „Methoden der Auflistung“ reflektiert dabei das
„Recht zur Erklärung der Logik automatischer Entscheidungen“ in Art. 15 der DSGVO, geht
aber in mehrfacher Weise darüber hinaus. So schützt er neben natürlichen Personen auch
Unternehmen und deckt auch Ranking-Entscheidungen ab, die nicht auf persönlich
identifizierbaren Daten beruhen. Wie detailliert diese Offenlegung aber sein muss, und
insbesondere ob sie ausreichend sein muss, um durch Dritte nachvollziehbar und
überprüfbar zu sein, ist noch unklar.
201
So etwa für Anwendungen im öffentlichen Sektor Citron 2007.
202
La République française, Explanatory Memorandum, zuletzt online am 08.08.2018
[https://bit.ly/2x2k774].
113
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
Artikel 13 legt außerdem fest, dass die Plattformen alle vertraglichen Beziehungen oder
Eigentumsverhältnisse mit den gelisteten Personen klar anführen und benennen müssen, ob
diese Personen eine Entschädigung erhalten, und gegebenenfalls die Auswirkungen auf das
Ranking von Inhalten und Diensten.
Um ein Ökosystem von Plattformen zu entwickeln, sieht Art. 14 vor, dass eine öffentliche
Behörde einen effizienten und fairen Wettbewerb zwischen den Betreibern gewährleisten
kann, wobei Innovation und Marktexpansion im Vordergrund zu stehen haben.
Diese Behörde wird beauftragt, Prinzipien über die Informationen zu ermitteln, die die
Plattformen den Verbrauchern zur Verfügung stellen müssen, um eine einfache
Vergleichbarkeit zu ermöglichen. Die Behörde entscheidet über die Genauigkeit und das
Format dieser zu erhebenden Informationen sowie über die Indikatoren für die Bewertung
und den Vergleich dieser Praktiken. Schließlich kann sie, wenn sie die bereitgestellten
Informationen für nicht ausreichend hält, die Daten sammeln und verbreiten, die erforderlich
sind, um die Verbraucher auf dem Laufenden zu halten und ihnen Vergleiche zu
ermöglichen. Der Zweck dieses ersten Schritts besteht darin, die Praktiken dieser
Plattformen besser zu objektivieren und die Diskussionen, insbesondere auf EU-Ebene,
über potenziell restriktivere wirtschaftliche Regelungen zu befördern.
In vielerlei Hinsicht ist dieser Gesetzesvorschlag mit seinem Fokus auf Onlineplattformen
und deren Rankings enger als die Thematik dieses Berichts, in anderer Hinsicht geht er
darüber hinaus und schützt auch Unternehmen und andere Marktanbieter. Details werden
erst zu einem späteren Zeitpunkt durch eine neue Aufsichtsbehörde entwickelt werden, und
es ist wahrscheinlich, dass der Begriff der „loyauté“ unter Umständen inadäquat als
„Fairness“ übersetzt, auch durch Gerichte interpretiert werden muss. Relevant ist hier
insbesondere der Rapport no 3119, der Assemblée Nationale vom Oktober 2015,
Numérique et libertés: un nouvel âge démocratique203, der die Motivation und das Ziel der
Gesetzgebung kurz beschreibt. „loyauté“ ist dabei allerdings nur negativ beschrieben als
Verhalten, das über bloße Neutralität hinausgeht. Ansonsten akzeptiert der Bericht, dass es
zwischen dem rechtlichen und informationswissenschaftlichen Verständnis noch
Unterschiede gibt, die erst durch zukünftige Forschung und Diskussion geschlossen werden
können.
Trotzdem können einige Schlussfolgerungen gezogen werden:
a) Andere Abschnitte des Gesetzes setzten direkter Ideen der DSGVO um, insbesondere
Datenübertragbarkeit. Dies zeigt an, dass der französische Gesetzgeber die DSGVO
alleine als unzureichend auffasst, um eine diskriminierende Anwendung von Algorithmen
zu verhindern. Dies deckt sich mit den Diskussionen in den USA und Großbritannien –
Datenschutz ist Teil der Lösung, aber nicht die gesamte Lösung, und zusätzliche
Regulierung ist notwendig.
b) Sehr ungewöhnlich war das Gesetzgebungsverfahren, das eine Form des
„Crowdsourcing“ oder ein besonders offenes und interaktives Konsultationsverfahren
verwendete. Ein Onlineportal erlaubte, Änderungsvorschläge direkt als Text einzugeben,
zu rechtfertigen, mit anderen zu diskutieren und über sie abzustimmen. Über 4000
Vorschläge wurden gemacht. Art. 13 und 14 erregten relativ geringe Debatten und die
203
Französische Nationalversammlung: Commission de réflexion et de propositions sur le droit et les
libertés à l’âge du numérique, zuletzt besucht am 26.07.2018 [https://bit.ly/2MgfdsI].
114
