svrv-verbrauchergerechtes-scoring
Dieses Dokument ist Teil der Anfrage „Gutachten des Sachverständigenrats für Verbraucherfragen“
Handlungsf elder: Stand der Forschung 25
B
Handlungsfelder:
Stand der Forschung
26 Handlungsf elder: Stand der Forschung
I. Transparenz und
Verständlichkeit
Welches Transparenzniveau im Bereich des Scorings Verwendungsabsichten unterschieden werden. Denn
angemessen ist und wie ein solches Transparenzniveau Scoring-Verfahren, die auf eine Verhaltensprognose
gewährleistet werden kann, diskutieren die allgemeine abzielen, wollen üblicherweise nicht reflexiv wirken,
Öffentlichkeit und die Wissenschaft als offene Frage. das heißt, sie wollen das in den Blick genommene Ver-
Transparenz bedeutet in diesem Zusammenhang die Of- halten nicht selbst beeinflussen. Die Bestimmung ei-
fenlegung von Informationen gegenüber Verbrauchern nes angemessenen Transparenzniveaus steht damit im
durch die Ersteller oder Verwender von Scoring-Verfah- Widerstreit gegensätzlicher Interessen, deren Berech-
ren. Mit Überlegungen zu angemessenen Transparenz- tigung nicht von der Hand zu weisen ist und die jeweils
niveaus stets verbunden ist die Frage danach, wie die auch verfassungsrechtlich unterlegt sind.
transparent gemachten Informationen aufzubereiten
und zu strukturieren sind, um ihre tatsächliche Ver- Die Person, deren Verhalten Gegenstand einer prognos-
ständlichkeit zu gewährleisten. Hier kann einerseits der tischen Einschätzung durch ein Scoring-Verfahren ist
Verbraucher, dem eine informierte Teilnahme an Sco- (im Folgenden auch als die „gescorte Person“ bezeich-
ring-Verfahren ermöglicht werden soll, den Maßstab ab- net), wird normalerweise ein Interesse daran haben,
geben. Andererseits kann es um die Verständlichkeit für zu erfahren, dass ein Scoring überhaupt stattfindet.
Fachleute gehen, denen die Möglichkeit einer kritischen Zweitens wird sie um die Konsequenzen des gebildeten
Prüfung von Scoring-Verfahren eröffnet werden soll. Scores wissen wollen. Weiterhin kann sie daran interes-
siert sein, zu wissen, auf welcher Datengrundlage die Er-
Das Bonitäts-Scoring hat bisher im Zentrum der Trans- mittlung des sie betreffenden Score-Wertes erfolgt, das
parenz-Debatte gestanden, weil es sich bis in jüngste heißt, welche ihrer Merkmale in die Score-Wert-Ermitt-
Zeit hinein um die technisch reifste und am weitesten lung eingehen. Schließlich kann sie daran interessiert
verbreitete Form des Scorings gehandelt hat (zur Ge- sein, in die innere Funktionsweise des Scoring-Algorith-
schichte siehe Beckhusen, 2004). Für die Zukunft ist mus Einblick zu bekommen, also insbesondere zu erfah-
zu erwarten, dass sich die Diskussion über die Trans- ren, welches relative Gewicht jedes erfasste persönliche
parenz des Scorings mit der neuerdings intensiv ge- Merkmal für die Ermittlung des Score-Wertes hat.
führten Debatte über die Transparenz von Verfahren
algorithmischer Entscheidungsfindung verbinden wird. Diesen Interessen können auf der anderen Seite Ge-
Der Aspekt der Scoring-Transparenz wird auch deshalb heimhaltungsinteressen desjenigen, der ein Scoring
relevant bleiben, weil erst ein ausreichendes Transpa- durchführt (im Folgenden auch als „Scorer“ bezeichnet),
renzniveau es Verbrauchern ermöglicht, weitergehende oder der Allgemeinheit gegenüberstehen. Ein Geheim-
Rechte, zum Beispiel auf Korrektur eines fehlerhaften haltungsinteresse des Scorers liegt regelmäßig dann
Score-Wertes, geltend zu machen. Schließlich ist Trans- vor, wenn die Prognoseleistung des Scoring-Verfahrens
parenz eine Bedingung dafür, dass über das Phänomen dieses wirtschaftlich wertvoll und damit als Unterneh-
Scoring überhaupt eine informierte gesellschaftliche mensgeheimnis schützenswert macht (anerkannt bei
Debatte geführt werden kann. BGH, Urteil vom 28. Januar 2014 – VI ZR 156/13 –, BGHZ
200, 38; siehe auch C.III.3). Wenn bekannt wird, wie das
algorithmische Verfahren der Score-Berechnung im Ein-
zelnen ausgestaltet ist, verliert es seinen Charakter als
Geschäftsgeheimnis und kann von Konkurrenten über-
nommen werden.
1. Transparenz bei
Ein Geheimhaltungsinteresse der Allgemeinheit kann
prognostischem Scoring daraus folgen, dass bei Offenlegung des Scoring-Verfah-
rens dessen Prognosekraft unter bestimmten Umstän-
Scoring-Verfahren werden sowohl zur Prognose von den (zu diesen sogleich) abnimmt. Dies kann gesell-
Verhaltensweisen als auch zur Verhaltenssteuerung schaftlich unerwünscht sein. Ein Allgemeininteresse an,
eingesetzt. Unter dem Gesichtspunkt der Transpa- zum Beispiel, zuverlässigen Bonitätsbewertungen ist
renzgewährleistung muss zwischen diesen beiden nicht von der Hand zu weisen.
Handlungsf elder: Stand der Forschung 27
Nicht jede Offenlegung begründet das Risiko, dass die kehrte Schlussfolgerung gezogen werden: Der richtige
Prognosequalität sinkt. Eine Offenlegung ist unschäd- Weg, Manipulationsmöglichkeiten abzuhelfen, führt
lich, wenn in den Score nur solche Merkmale eingehen, nicht über die Aufrechterhaltung von Intransparenz
deren Vorhandensein für die ermittelte Prognosewahr- über die in den Score eingehenden Merkmale, sondern
scheinlichkeit tatsächlich ursächlich ist. Dann nimmt über den Ausschluss nicht-ursächlicher Merkmale aus
die gescorte Person mit einer ihrem Score-Wert dien- dem Scoring-Verfahren. Dieser Weg mag schwerer zu
lichen Verhaltensänderung auf die Wahrscheinlichkeit verwirklichen sein, allerdings ist die erhöhte Fairness
des prognostizierten Ereignisses tatsächlich Einfluss. eines Abstellens allein auf ursächliche Merkmale nicht
Wer sich regelmäßig bewegt, reduziert sein Krankheits- von der Hand zu weisen (eingehend Britz, 2008).
risiko – man kann deshalb die Entscheidung, regelmä-
ßig Sport zu treiben, nicht als eine „Manipulation“ des
Score-Wertes bezeichnen.
Demgegenüber nimmt die Prognosekraft des Scoring-
Verfahrens dann ab, wenn die Verhaltensanpassung sich 2. Transparenz bei
auf Merkmale bezieht, die zwar in der Vergangenheit
gute Indikatoren für die durch Scoring zu ermittelnde
verhaltenssteuerndem
Wahrscheinlichkeit abgegeben haben, aber die Höhe des Scoring
Wahrscheinlichkeitswertes nicht beeinflussen (Praxis
beispiele unter B.VIII.1). Niemand senkt sein Krankheits- Scoring kann auch ein Instrument der Verhaltens-
risiko dadurch, dass er Sportbekleidung nur kauft, aber steuerung sein. Mit diesem Zweck unterlegt, erscheint
nicht benutzt – wer also weiß, dass der Kauf von Turn- Transparenz zunächst als eine notwendige Bedingung
schuhen als sogenanntes Proxy-Merkmal (siehe näher des wirkungsvollen Einsatzes des Scoring-Verfahrens.
B.V.2) in einen „Gesundheits-Score“ eingeht, könnte ver- Denn ein Anreizsystem kann eine zielgerichtete ver-
sucht sein, durch bloße Konsumentscheidungen statt haltenssteuernde Wirkung nur dann entfalten, wenn
durch das Sporttreiben auf seinen Score einzuwirken. es den Zusammenhang zwischen dem Verhalten und
Ist die Funktionsweise eines Scoring-Verfahrens offen- seiner Bewertung offenlegt. Auf das Scoring bezogen:
gelegt, kann die gescorte Person die Auswirkungen ihres Wenn es dem Verwender des Scoring-Verfahrens darum
Verhaltens auf ihren Score-Wert erkennen und ihr Ver- geht, zur Verbesserung des Score-Wertes zu motivieren,
halten deshalb „scoredienlich“ anpassen (Bambaucher erscheint es zwingend erforderlich, dass er zumindest
& Zarsky, 2018). offenlegt, dass bestimmte Verhaltensweisen „punkte-
trächtig“ sind.
Die Einflussnahme auf nicht-ursächliche Merkmale
wird in der Literatur unter dem Stichwort des „ga- Allerdings kann die Verhaltenssteuerung durch Sco-
ming“ eines Scoring-Verfahrens diskutiert (Rona-Tas & ring-Verfahren auch „weicher“ erfolgen. Dies lässt sich
Hiss, 2011). Mit dem Ausspruch: „when a measure be- an einem – hypothetischen – Beispiel verdeutlichen.
comes a target, it ceases to be a good measure“ hat Man stelle sich vor, es wird ein Score-Wert für „gesund-
der britische Ökonom Charles Goodhard diese Ein- heitsförderliches Verhalten“ oder „gutes Autofahren“
sicht in die Selbstreflexivität sozialer Systeme präg- ermittelt, dessen Kriterien indessen nicht offengelegt
nant formuliert. Sie verdient in jeder Diskussion über werden. Man wird annehmen dürfen, dass ein solches
indikatorengestützte Steuerung Beachtung (Strathern, Scoring-Verfahren Auswirkungen auf das Verhalten der
1997; Wagner, 2018; Weingart & Wagner, 2015). Ein gescorten Person hat. Sie wird versuchen, ihren Score zu
Score-Gaming zu verhindern, kann im Allgemeininte- verbessern. Nur ist die Richtung dieser Verhaltensände-
resse liegen, um die Aussagekraft des prognostischen rung unbestimmter, denn die gescorte Person kann nur
Scores zu erhalten. Erforderlich ist dann ein gewisses vermuten, welche Verhaltensweisen als zum Beispiel
Maß an Intransparenz über die Funktionsweise des „gesundheitsförderliches Verhalten“ oder „gutes Auto-
Scoring-Verfahrens. Andererseits kann aus der Mög- fahren“ vom Scorer bewertet werden und demzufolge
lichkeit des „Score-Gaming“ auch gerade die umge- zur Verbesserung ihres Scores beitragen. Die gescorte
28 Handlungsf elder: Stand der Forschung
Person ist also mit der Herausforderung konfrontiert, tums nicht bekannt ist (siehe aber zur tatsächlichen
den ihr unbekannten Maßstäben des Scoring-Verfahrens Bekanntheit entsprechender Auskunftsrechte B.VII.2).
zu genügen.
Die Mittel, mit denen Transparenz im Bereich des Sco-
rings hergestellt werden soll, sind rechtlicher Art. Des-
halb hat die wissenschaftliche Diskussion über das dem
Scoring angemessene Transparenzniveau ihren Schwer-
punkt im Dialog zwischen Gesetzgebung und Rechtspre-
3. Sicherung von Transparenz chung einerseits und der Rechtswissenschaft anderer-
seits. Dabei stand sowohl dem Gesetzgeber als auch der
und Verständlichkeit des Rechtswissenschaft das Bonitäts-Scoring als besonders
Scorings als Dauerthema regelungsbedürftig vor Augen. Drei Ereignisse struktu-
rieren den Transparenzdiskurs in diesem Bereich.
Transparenz ist ein Schlüsselinstrument der Verbrau-
cherpolitik. Dementsprechend widmen sich zahlreiche Eine erste Zäsur ist die Schaffung von scoring-spezifi-
Untersuchungen der Legitimation, der Effektivität und schen datenschutzrechtlichen Bestimmungen im Jahre
den Grenzen des Transparenzprinzips im Verbraucher- 2009 (BGBl. I S. 2254). Durch Novellierung des Bundes-
schutz (Überblick bei Tamm, 2011, insbes. S. 347 ff.). datenschutzgesetzes (BDSG) schuf der Gesetzgeber
Allerdings wird die Verknüpfung zwischen Transparenz den Scoring-Regelungskomplex aus § 28b BDSG a.F.,
einerseits und tatsächlicher Informiertheit des Ver- der Anforderungen an rechtmäßiges Scoring enthielt,
brauchers andererseits zunehmend in Zweifel gezo- und § 28a BDSG a.F., der die Datenübermittlung an
gen (Ben-Shahar & Schneider, 2014; Kettner, Thorun & Auskunfteien regelte. Ergänzt wurden diese Regelungen
Vetter, 2018; siehe auch B.VIII.2). Aus einem Maximum durch eine scoring-spezifische Erweiterung der Aus-
an Transparenz folgt keineswegs ein Maximum an kunftsrechte des Betroffenen in § 34 BDSG a.F. (Heine-
Verbraucherschutz. Perspektivisch wird deshalb die mann & Wäßle, 2010). Vor dem Erlass dieses Regelungs-
Absicherung tatsächlicher Verbraucherautonomie ins komplexes hatte sich die Zulässigkeit des Scorings nach
Zentrum der Diskussion rücken. Die Debatte über die den allgemeinen datenschutzrechtlichen Vorschriften
„Algorithmen-Transparenz“ könnte als Katalysator bemessen. Die Folge war nicht nur ein erhebliches Maß
wirken, denn die fehlende Wirksamkeit von Verpflich- an Rechtsunsicherheit hinsichtlich der Rechtmäßigkeit
tungen, die auf die bloße Offenlegung unaufbereiteter des Scorings überhaupt (Petri, 2003; Beckhusen, 2004),
Informationen abzielen, ist hier besonders augenfällig. die etwa auch in der skeptischen Einschätzung des da-
Die Offenlegung des nackten Programmcodes würde maligen Bundesbeauftragten für den Datenschutz an-
jeden Verbraucher überfordern (siehe weiter sogleich klang (BfDI, 1996, Nr. 31.2.3), sondern auch eine weit
unter 4.). verbreitete Klage über unzulängliche Transparenz in
Hinblick auf den Einsatz von Scoring-Verfahren und
Dessen ungeachtet ist Scoring als ein Datenverarbei- auf ihre konkrete Funktionsweise (Korczak & Wilken,
tungsvorgang bereits deshalb auf ein gewisses Maß an 2008). Wurden dem allgemeinen datenschutzrecht-
Transparenz angewiesen, weil nur Transparenz dem Ein- lichen Regelwerk zum Teil weitreichende Auskunfts-
zelnen ermöglicht, seine subjektiven datenschutzrecht- rechte der Betroffenen entnommen (Unabhängiges
lichen Rechte wahrzunehmen (Bull, 2011). „Die Recht- Landeszentrum für Datenschutz Schleswig-Holstein,
mäßigkeit von Entscheidungen kann nur prüfen, wer 2005), überwog doch die Diagnose eines bereits in den
die Datengrundlage, Handlungsabfolge und Gewich- gesetzlichen Regelungen angelegten Transparenzde-
tung der Entscheidungskriterien kennt – und versteht.“ fizits (Kloepfer & Kutzschbach, 1998; Möller & Florax,
(Martini, 2017, S. 1018). Dies betrifft insbesondere die 2003; Petri, 2003; Beckhusen, 2005). Diesen beklagten
Richtigkeit der individuellen Daten, die zur Bildung Transparenzmängeln wollte der Gesetzgeber mit der
von Score-Werten herangezogen werden. Korrektur Schaffung scoring-spezifischer Sondervorschriften ab
ansprüche (siehe v. a. Art. 16 DSGVO) gehen ins Leere, helfen (siehe die Begründung des Regierungsentwurfs
wo die Fehlerhaftigkeit eines personenbezogenen Da- des maßgeblichen Gesetzes zur Änderung des Bundes-
Handlungsf elder: Stand der Forschung 29
datenschutzgesetzes, BT-Drucks. 16/10529, S. 6 u.ö.; sungsgericht hat über ihre Verfassungsbeschwerde ge-
Beschlussempfehlung und Bericht des Innenausschus- gen das Urteil noch nicht entschieden.
ses, BT-Drucks. 16/13219, S. 1 f., 10), wie sich auch aus
Darstellungen des Gesetzgebungsprojekts aus der Sicht Eine Gesetzgebungsinitiative aus den Reihen der Oppo-
Beteiligter ergibt (Piltz & Holländer, 2008; Metz, 2009). sition (BT-Drucks. 18/4864) strebte, letztlich erfolglos,
Aufgrund der damit geänderten rechtlichen Rahmen- eine Änderung der Rechtslage an. Der Gesetzentwurf sah
bedingungen kann an die vor Erlass dieses Gesetzes vor, dass im Bundesdatenschutzgesetz weiterreichen-
bereits intensiv geführte Diskussion über Transparenz- de Transparenzanforderungen verankert werden, als
mängel des Scorings und die dort herausgearbeiteten der Bundesgerichtshof sie dem Gesetz in der SCHUFA-
Transparenzdefizite nicht ohne Weiteres angeschlossen Entscheidung entnommen hatte. Der Auskunftspflicht
werden, wurden doch vorher offene Fragen durch den unterfallen sollten auch „die verwendeten Einzeldaten,
Gesetzgeber nunmehr verbindlich entschieden. die Gewichtung der verwendeten Daten, die verwende-
ten Vergleichsgruppen und die Zuordnung der betrof-
Die zweite Zäsur markiert das „SCHUFA-Urteil“ des fenen Personen zu den Vergleichsgruppen, die in die
Bundesgerichtshofs (BGH, Urteil vom 28. Januar 2014 – Berechnung des Wahrscheinlichkeitswerts einfließen“
VI ZR 156/13 –, BGHZ 200, 38). In dieser Entscheidung (a.a.O., S. 4).
klärte das Gericht die Reichweite des datenschutz-
rechtlichen Auskunftsanspruchs nach § 34 Abs. 4 Satz 1 Das Inkrafttreten der Datenschutz-Grundverordnung im
BDSG a.F. Auskunft zu erteilen sei über die in die Bil- Mai 2018 markiert die dritte Zäsur in der Transparenz-
dung des Score-Wertes eingehenden personenbezo- diskussion. Mit ihr wurde ein unionsrechtlich überform-
genen Datenarten des Auskunftsberechtigten. Keine tes nationales Datenschutzrecht abgelöst durch ein
Auskunft müsse erteilt werden über das Verfahren, unmittelbar anwendbares europäisches Gesetzeswerk.
nach dem aus diesem personenbezogenen Datenbe- Nicht nur dessen Regelungsinhalt weicht in vielerlei Hin-
stand und weiteren Daten ein konkreter Score-Wert sicht vom früheren Datenschutzrecht ab, auch an die im
ermittelt werde. Insbesondere die Gewichtung, mit alten Bundesdatenschutzgesetz etablierte Terminologie
der die Daten in die Berechnung eingehen, sei vom und Regelungstechnik und an dessen Gesetzgebungsstil
Auskunftsanspruch nicht erfasst. Das Scoring-Verfah- schließt die Datenschutz-Grundverordnung nicht bruch-
ren genieße als Geschäftsgeheimnis grundrechtlichen los an. Es erscheint daher plausibel, dass wegen des Be-
Schutz. Das Urteil des Bundesgerichtshofs stieß in der schlusses der Datenschutz-Grundverordnung der „Be-
Rechtswissenschaft auf ein ausgeprägtes Interesse; ginn einer neuen Zeitrechnung im Datenschutzrecht“
die Rechtsdatenbank Juris weist mehr als ein Dutzend (Schantz, 2016) ausgerufen worden ist. Durchsetzt ist
rechtswissenschaftliche Analysen der Entscheidung die Datenschutz-Grundverordnung von Öffnungsklau-
aus. Sie ergeben ein heterogenes Bild, das von nach- seln, die dem nationalen Gesetzgeber Gestaltungsspiel-
drücklicher Zustimmung (Taeger, 2014) bis zur Kritik räume eröffnen. Auf dieser Grundlage ergänzt ein neues
(Gärtner, 2014; Schulte am Hülse & Timm, 2014) reicht. Bundesdatenschutzgesetz die Datenschutz-Grundver-
Fortan bildete die Entscheidung den maßgeblichen Be- ordnung. Es enthält mit § 31 BDSG n.F. eine Scoring-
zugspunkt der Transparenzdiskussion. So unterziehen spezifische Sonderbestimmung (siehe näher E.I.3, dort
die Berichterstatter des für das Bundesministerium auch zur Unionsrechtskonformität der Vorschrift). Mit
für Ernährung, Landwirtschaft und Verbraucherschutz dieser Vorschrift zum – so ihre Überschrift – „Schutz des
(BMELV) bzw. später für das Bundesministerium der Wirtschaftsverkehrs bei Scoring und Bonitätsauskünf-
Justiz und für Verbraucherschutz (BMJV) erstatteten ten“ wollte der deutsche Gesetzgeber „den materiellen
Evaluationsberichts über den 2009 neugeschaffenen Schutzstandard der §§ 28a und 28b BDSG a.F.“ erhal-
Regelungskomplex zum Scoring die Entscheidung ei- ten, wie die Gesetzesbegründung ausführt (BT-Drucks.
ner eingehenden Analyse und Kritik (Unabhängiges 18/11325, S. 101, entspricht BR-Drucks. 110/17, S. 101).
Landeszentrum für Datenschutz Schleswig-Holstein & Erste juristische Untersuchungen zum Scoring unter der
GP Forschungsgruppe, 2014). Eine verfassungsgericht- Datenschutz-Grundverordnung gehen nicht von tiefgrei-
liche Korrektur der Entscheidung wird von der Klägerin fenden Änderungen durch das neue Regelungsregime
des Verfahrens derzeit angestrebt. Das Bundesverfas- aus (Taeger, 2016; von Lewinski & Pohl, 2018) und tat-
30 Handlungsf elder: Stand der Forschung
sächlich dürfen die Beharrungskräfte einer eingespiel- cherungswirtschaft e. V., 2018; Verbraucherzentrale
ten Praxis gegenüber legislativen Neuerungen nicht Bundesverband e. V., 2017) und Akteure der Zivilgesell-
unterschätzt werden. Gleichwohl unterscheidet sich die schaft (vgl. etwa die sich unter www.algorithmenethik.
gesetzgeberische Gestaltung der Transparenzvorgaben de und www.algorithmwatch.de präsentierenden Initi-
und Auskunftsrechte in den Art. 13, 14 und 15 DSGVO tief- ativen) haben das Thema der Algorithmenregulierung
greifend von den §§ 19, 34 BDSG a.F. (siehe weiter E.III.4). für sich entdeckt. Der SVRV hat sich grundsätzlich po-
sitioniert (SVRV, 2016; SVRV, 2017; SVRV, 2017a; zusam-
Nicht nur in der Wissenschaft, auch in der Öffentlichkeit menfassend Micklitz, 2017) und gefordert, dass durch
wird die Transparenz von Scoring-Verfahren diskutiert. rechtliche Vorgaben sichergestellt werden muss, dass
Im Februar 2018 starteten die gemeinnützigen Organi- die zugrundeliegenden Parameter bei Algorithmen mit
sationen Open Knowledge Foundation und Algorithm direktem Verbraucherkontakt transparent zu machen
Watch die Initiative OpenSCHUFA. Zu den erklärten und standardisiert einem Kreis von Experten einer
Zielen des Projektes gehört es, den Algorithmus zu Digitalagentur18 offenzulegen sind (SVRV, 2017a; weiter
„knacken“, mit dem die SCHUFA ihre Bonitäts-Scores Gigerenzer, Wagner & Müller, 2018).
ermittelt (OpenSCHUFA, 2018). Sowohl die in die Be-
rechnung des Score-Wertes eingehenden Daten als auch Ein Scoring-Algorithmus ist ein bestimmter Typ Algo
das Verfahren, nach dem aus diesem Datenmaterial ein rithmus (Just & Latzer, 2016). Die Diskussion über Sco-
individueller Score ermittelt wird, will die Initiative her- ring-Transparenz lässt sich deshalb als ein Teil der allge-
ausfinden, indem möglichst viele Personen der Initiative meinen Debatte über die Regulierung von Algorithmen
ihren SCHUFA-Score (den sie dort erfragen) und ihre per- führen. Zwar sind herkömmliche Scoring-Verfahren
sönlichen Merkmale mitteilen. Zahlreiche Medien be- derzeit bedeutend weniger komplex als die algorith-
richteten über das Anliegen der Initiative (exemplarisch mischen Entscheidungssysteme, die in der Algorith-
Erdmann, 2018; Schneider, 2018), die SCHUFA selbst trat men-Regulierungsdebatte üblicherweise als Referenz-
ihr kritisch entgegen (SCHUFA Holding AG, 2018a). punkte dienen (SVRV, 2016) und die nicht selten dem
Bereich der Künstlichen Intelligenz zuzurechnen sind.
Aber auch die gegenwärtig eingesetzten Algorithmen
sind für Nicht-Fachleute nicht einfach zu verstehen (sie-
he weiter B.IV.2 unten). Und nähme die Komplexität der
eingesetzten Verfahren zu – hin etwa zu Scoring-Verfah-
4. Scoring-Transparenz ren, die auf Systemen maschinellen Lernens, insbeson-
dere neuronalen Netzen aufbauen (siehe Hurley & Ade-
als Spezialfall von bayo, 2016; Thomas, Crook & Edelmann, 2017) –, würde
Algorithmen-Transparenz die Debatte über die „Algorithmen-Transparenz“ auch
den Bereich des Verbraucher-Scorings in wachsendem
Derzeit wird eine intensive Debatte geführt über ein Ausmaß betreffen. Ob es auf breiter Front zu dieser Zu-
angemessenes Regulierungsregime für „Algorithmen“. nahme der Komplexität von Scoring-Verfahren kommen
Diese Debatte findet nicht nur unter Wissenschaftlern wird, die sie zu „Black Boxes“ machen würden, ist un-
statt, sondern beschäftigt auch intensiv die deutsche sicher, nicht zuletzt aus dem einfachen Grund, dass es
Politik. Im Koalitionsvertrag zwischen CDU, CSU und eine offene Frage ist, ob solche neuen Scoring-Verfahren
SPD zur 19. Legislaturperiode sind Regulierungsziele den hergebrachten Methoden in einer Weise überlegen
für den Bereich algorithmischer Entscheidungen for- sind, die ihre Verwendung wirtschaftlich rechtfertigen
muliert (CDU/CSU/SPD, 2018, Zeilen 2092 ff.). Auch die würde. So steht der Nachweis aus, dass neuartige al-
Verbraucherpolitik (CDU/CSU/SPD, 2018, Zeilen 6266 ff.) gorithmische Entscheidungsverfahren immer „besser“
sowie Verbände (Gesamtverband der Deutschen Versi- (etwa mit Blick auf Modellgüte) sind als etablierte Ver-
18 Zu einer solchen Digitalagentur siehe auch Tutt (2017), der für eine zentrale Regulierungsbehörde für Algorithmen nach dem Modell der Food and Drug
Administration eintritt und deren Kompetenzen umreißt (S. 105 ff.): „the agency should serve as a centralized expert regulator that develops guidance, standards,
and expertise in partnership with industry to strike a balance between innovation and safety.” (S. 83).
Handlungsf elder: Stand der Forschung 31
fahren. Beispiele hierfür sind „Google Flu Trends“ (zur Künstlichen Intelligenz wird diese Diskussion unter den
Prognose von Grippe-Epidemien) und COMPAS (zur Pro- Schlagworten des interpretable machine learning und
gnose der Rückfallwahrscheinlichkeit von Straftätern), der „erklärbaren Künstlichen Intelligenz“ (explainable
bei denen jeweils die Aussagekraft komplexer Algorith- artificial intelligence, XAI, siehe Gesellschaft für Informa-
men widerlegt wurde und stattdessen einfache Regeln tik, 2018) geführt (Wachter, Mittelstadt & Floridi, 2017;
eine höhere Prognosekraft zeigten (Dressel, 2018; Lazer, Selbst & Powles, 2017; Selbst & Barocas, 2018).
Kennedy, King & Vespignani, 2014).19
Ein gegenstandsangemessenes Verständnis von Trans-
Die Relevanz der Frage, ob und inwieweit Entwicklun- parenz wird auf die Einbettung algorithmischer Ent-
gen im Bereich der Künstlichen Intelligenz die Praxis scheidungssysteme in arbeitsteilige Begründungs- und
des Scorings betreffen werden, ist als eher gering zu Kontrollarchitekturen abzielen (Wischmeyer, 2018).
veranschlagen. Denn die Schwierigkeiten, Einblick in Transparent ist ein System algorithmischer Entschei-
Prozesse algorithmischer Entscheidungsfindung zu dungsfindung nicht dann, wenn es in allen Einzelhei-
erhalten, betreffen keineswegs nur „moderne“ Verfah- ten offen vor dem Betrachter liegt (was bei neuronalen
ren algorithmischer Entscheidungsfindung. Auch ganz Netzen durchaus auch schwierig wäre, vgl. etwa Ribeiro,
konventionelle Algorithmen, die beispielsweise – wie Singh & Guestrin, 2016; Burrell, 2016; Alber, Lapuschkin
der Bonitäts-Score der SCHUFA – auf multivarianten & Seegerer, 2018), sondern wenn es sich seinen Be-
oder nicht-linearen Regressionsmodellen beruhen, nutzern zu erklären vermag: „Lässt sich nachträglich
sind selbst für Fachleute nicht auf den ersten Blick zu begründen oder sichtbar machen, wie der Weg zum
durchschauen (Lipton, 2017). Die im Zusammenhang Ergebnis aussah?“ (Passig, 2017, S. 25). Deshalb ist es
mit Künstlicher Intelligenz vielzitierte Black Box ist also nicht notwendig, dass Transparenz „volles Verständnis“
nicht erst in jüngster Vergangenheit zur Herausforde- für Scoring herstellt. Es reicht aus, Möglichkeiten zu
rung geworden. Mit nur wenig Übertreibung kann man schaffen, auch unter den Bedingungen unvollständiger
stattdessen sagen, dass die Black Box die Entwicklung Transparenz und unvollständigen Verständnisses Er-
der Softwaretechnik von Anfang an begleitet hat (poin- kenntnisse über die Funktionsweise eines Algorithmus
tiert Passig, 2017). zu erlangen, das sogenannte black box tinkering (Perel &
Elkin-Koren, 2017; Wachter, Mittelstadt & Floridi, 2017).
Mit der Offenlegung des Quellcodes selbst einfacher Der Vorschlag einer Transparenz-Schnittstelle (Gigeren-
Computerprogramme ist den Verbrauchern in aller Re- zer, Wagner & Müller, 2018) knüpft hieran ebenso an wie
gel nicht geholfen (siehe auch B.VII.2). Die Mehrheit der die Vorschläge der Gesellschaft für Informatik, das Tes-
betroffenen Personen sind keine IT-Spezialisten. Und ten von Algorithmen als Regulierungsinstrument stark
selbst wenn sie es wären: die technische Komplexität zu machen (Gesellschaft für Informatik, 2018, mit der
der Computersysteme, deren Entscheidungsverhalten Empfehlung zur Schaffung eines „Rechts auf Durchfüh-
„transparent“ gemacht werden soll, macht selbst für rung von Tests“). Hierzu werden die Eingaben systema-
die Kontrolle durch Experten eine andere Form von tisch variiert und die Ausgaben ausgewertet. Dies könn-
Transparenz erforderlich als die bloße Offenlegung von te z. B. eine datenschutzrechtliche Aufsichtsbehörde im
Programmcodes (Wischmeyer, 2018; Samek, Wiegand & Rahmen von sogenannten Datenschutzüberprüfungen
Müller, 2017; Selbst & Powles, 2017; Montavon, Samek & („audits“) nach Art. 58 Abs. 1 Buchstabe b DSGVO ver-
Müller, 2018; Gigerenzer, Wagner & Müller, 2018; Gesell- langen und ggf. selbst durchführen. Was im Inneren der
schaft für Informatik, 2018). An diese Einsicht knüpft Black Box im Detail vor sich geht, erkennt man zwar auf
ein derzeit mit großer Intensität verfolgtes Forschungs- diese Weise nicht notwendigerweise, aber man kann
programm an, das der Frage nachgeht, wie die Funk- hinreichende Erkenntnisse über die relevanten Funk-
tionsweise komplexer Algorithmen für Menschen ver- tionsweisen des Algorithmus gewinnen. Dieses tes-
ständlich gemacht werden kann. Für den Bereich der ting folgt im Übrigen der Logik der Stiftung Warentest,
19 Zur Problematik des Einsatzes von Algorithmen in der amerikanischen Justiz siehe Kehl, Guo & Kessler (2017). Die möglichen Schlussfolgerungen für das
Verbraucherrecht sind bislang nicht wirklich untersucht.
32 Handlungsf elder: Stand der Forschung
soweit diese für ihre Tests nicht Baupläne und Rezepte Anhand zahlreicher Beispiele und Fallstudien haben die-
studiert, sondern aus dem Gebrauch eines Produktes se Analysen aufgezeigt, dass, wo immer eine Entschei-
auf seine relevante Qualitäten schließt. dung zu treffen ist, an eine Zahl deutlich leichtgängiger
angeschlossen werden kann als an eine vielschichtige,
Auch von den Entwicklern und Anwendern von Sco- differenzierte und unter Umständen auch ambivalente
ring-Systemen wird inzwischen gesehen, dass die Nach- Beurteilung eines Sachverhalts oder – bezogen auf das
vollziehbarkeit ihrer Verfahren wichtig ist. Francesca Scoring – einer Person. Damit reduzieren Scores die
Rossi von IBM formulierte in einem Interview mit einer Komplexität qualitativer Urteile in der beinahe größt-
Tageszeitung: „Neben deep learning gibt es Systeme wie möglichen Art und Weise. Das macht die Heranziehung
decision trees, die besser nachzuvollziehen sind, aber von Scores zur Entscheidungsfindung sehr attraktiv, zu-
leider nicht ganz so akkurat. Wir müssen also herausfin- mal wenn diese Entscheidungen automatisiert, schnell
den, was uns wichtiger ist: das akkurate Ergebnis oder und massenhaft getroffen werden (müssen). Allerdings
die Nachvollziehbarkeit des Ansatzes.“ (Rossi, 2018).20 werden die Wertungen, die bei der Entwicklung von Sco-
ring-Verfahren getroffen werden müssen, oft nicht in ei-
ner Weise diskutiert, die der späteren sozialen Verwen-
dung dieser Verfahren angemessen ist. Welche Kriterien
mit welchem Gewicht in die Ermittlung eines „Punkt-
wertes für gesundheitsförderliches Verhalten“ in einem
5. Transparenz als Bedingung Krankenversicherungs-Bonusprogramm eingehen, liegt
üblicherweise außerhalb des Aufmerksamkeitsfeldes
einer gesellschaftlichen der Öffentlichkeit (siehe auch C.III.2). Ob beispielsweise
Debatte über Scoring lediglich solche Aktivitäten positive Berücksichtigung
finden sollen, die dem eigenen Gesundheitszustand
In der Verwendung von Scores liegt das Risiko, gesell- förderlich sind, oder auch solche, mit denen die Funk-
schaftlich nur unzureichend diskutierte Wertungen tionsfähigkeit des Gesundheitssystems unterstützt
mit dem Anschein der Objektivität zu versehen und werden soll (zum Beispiel Blutspende, Knochenmark
dadurch der Kritik zu entheben (grundlegend Porter, typisierung) oder gar solche, die ohne Gesundheitsbe-
1995; siehe weiter etwa Heintz, 2007). Diese Kritik der zug als sozial wertvoll gelten (zum Beispiel ehrenamtli-
Quantifizierung und des „gesellschaftlichen Zahlenge- ches Engagement), ist eine diskutable Frage. Das Fehlen
brauchs“ (Vormbusch, 2012, S. 37) ist inzwischen zum öffentlicher Diskussionen über die Wertungen, die bei
Gegenstand einer Vielzahl von Studien gemacht wor- der Schaffung eines Score-Verfahrens zu treffen sind,
den, die ein produktives Forschungsfeld begründen. könnte man als einen Mangel an Politisierung bezeich-
Etablierte Referenzgebiete für solche Analysen sind die nen, d. h. als eine Durchsetzung normativer Wertungen
Wirtschaftspolitik (Weingart & Wagner, 2015; Wagner, mit erheblichen sozialen Folgen ohne einen vorberei-
2018; Schlaudt, 2018) ebenso wie diverse Felder der tenden und begleitenden gesellschaftlichen Diskurs.
Bildungs-, Gesundheits- und Sozialpolitik (Muller, 2018)
und insbesondere das Handeln internationaler Organi-
sationen, soweit sich dieses maßgeblich auf Indikato-
ren, Rankings, Grenzwerte usw. stützt (Davis & Fisher,
2012; Rottenburg, Merry, Park & Mugler, 2015; Merry,
Davis & Kingsbury, 2015; Merry, 2016).
20 Zu der Frage, ob dieser Trade-Off in der Realität des Scorings überhaupt besteht, siehe etwa Hand, 2006, der ihn mit guten Argumenten bestreitet. Hier geht es nur
darum, dass die Praxis den Belang der Verständlichkeit offenkundig anerkennt. Insoweit ist es auch kein Gegeneinwand, dass random forests, also eine Vielzahl
von decision trees (Gesellschaft für Informatik, 2018), nicht notwendigerweise leichter interpretierbar sind (Groll, Ley, Schauberger & Van Eetvelde, 2018) und das
Problem der Verständlichkeit deshalb durch die Methodenumstellung nicht verschwindet oder auch nur notwendigerweise verringert wird.
Handlungsf elder: Stand der Forschung 33 Unzureichende Transparenz kann zudem gesellschaftli- chen Fehlvorstellungen darüber Vorschub leisten, was ein Score eigentlich aussagt (siehe auch C.III.3). Zum Beispiel kann ein Kfz-Score als Grundlage für einen Telematik-Tarif so gebildet werden, dass er nicht nur auf das beeinflussbare Fahrverhalten abstellt, also etwa die Umsicht, mit der der Fahrer bremst und beschleunigt oder Geschwindigkeitsbegrenzungen beachtet, sondern auch fahrleistungsindifferente, aber unfallwahrschein- lichkeitsrelevante Merkmale erfassen. Dies können zum Beispiel das Verhältnis von Stadtfahrten und Landfahr- ten (denn in der Stadt ist die Unfallwahrscheinlichkeit höher) oder von Nachtfahrten und Tagesfahrten sein (denn nachts zu fahren erhöht die Wahrscheinlichkeit eines Unfalls). Entsteht bei dem gescorten Autofahrer oder der Öffentlichkeit der Eindruck, der Score-Wert drücke vor allem die Fähigkeiten des Fahrers aus, fallen die reale Bedeutung des Score-Wertes und seine soziale Verwendung auseinander. Transparenz in dieser Hin- sicht zielt somit darauf, die Bedeutung von Scores rea- listisch einzuschätzen und Scores nur dieser Bedeutung entsprechend einzusetzen.
34 Handlungsf elder: Stand der Forschung
II. Diskriminierungsschutz und
Gleichbehandlung
Scoring-Verfahren führen zu von Person zu Person un- hen. Die jeweils maßgeblichen Merkmale, nach denen
terschiedlichen Scores. Darin liegt gerade ihr Sinn: zu unterscheiden unerwünscht oder sogar verboten ist,
Scores markieren Unterschiede und Scoring-Verfahren sind das Ergebnis von gesellschaftlichen Aushandlungs-
wollen differenzieren. Jede marktwirtschaftliche demo- prozessen, von Einsicht in Strukturen sozialer Exklusion
kratische Wirtschafts- und Rechtsordnung baut auf der und in historisches Unrecht sowie, letzten Endes, von zi-
Möglichkeit auf, privatautonom Unterscheidungen zu vilisatorischem Fortschritt (Fritzsche, 2017). Sie müssen
treffen. Prinzipiell steht es jedem Unternehmer frei, ob nicht für alle Lebensbereiche und sozialen Situationen
er mit einem Verbraucher einen Vertrag abschließen will identisch bestimmt werden und sie sind der gesetzge-
oder nicht. Eine Verpflichtung zum Vertragsschluss gibt berischen Anpassung und Fortentwicklung zugänglich.
es nur in wenigen Ausnahmefällen. Umgekehrt gewinnt
der Diskriminierungsschutz in der Rechtsordnung im- Eine solche Bestimmung des Phänomens Diskriminie-
mer weiter an Boden. Scoring-Verfahren bewegen sich rung ist von zwei konkurrierenden Bedeutungen des
genau in diesem Spannungsverhältnis von unterneh- Begriffs abzugrenzen: Einerseits ist nicht schlechthin
merischer Freiheit und gesellschaftlichen Wertvorstel- jede Unterscheidung zwischen Personen eine „Diskri-
lungen, das immer wieder neu austariert werden muss. minierung“, wie sie Gegenstand dieses Gutachtens ist.
Ein solches Begriffsverständnis (vgl. Adomeit, 2002;
Picker, 2008) hätte zur Folge, dass unter „Diskriminie-
rung“ eine Vielzahl gesellschaftlicher Vorgänge zu fas-
sen wäre, die nicht problematisiert werden müssen und
keine politische Handlungsnotwendigkeit auslösen, bis
1. Was ist Diskriminierung? hin zu der Unterscheidung des Gastwirts zwischen zah-
lungswilliger und nicht zahlungswilliger Kundschaft.
Das Phänomen Diskriminierung wird in diesem Gut- Auch manchen statistischen Fachbegriffen wie etwa
achten weit verstanden. Es erfasst Handlungen und dem der Diskriminanzanalyse liegt ein wertneutrales
Strukturen, die dazu führen, dass die Träger bestimmter Verständnis des Begriffs Diskriminieren – das Unter-
Merkmale21 (etwa Frauen, Homosexuelle oder Personen scheiden – zugrunde. Andererseits soll mit dem Begriff
„fremder“ ethnischer Herkunft) im gesellschaftlichen der Diskriminierung auch nicht gemeint sein, dass die
Leben benachteiligt werden. Dafür, welche Merkmale in- Unterscheidung nach dem Diskriminierungskriterium
soweit relevant sind, liefert § 1 des Allgemeinen Gleich- kategorisch gesellschaftlich missbilligt oder gar recht-
behandlungsgesetzes (AGG) Orientierungspunkte. Die lich verboten ist.
Vorschrift bestimmt: „Ziel des Gesetzes ist, Benachtei-
ligungen aus Gründen der Rasse oder wegen der eth- Eine „Diskriminierung“ soll stattdessen jede Ungleich-
nischen Herkunft, des Geschlechts, der Religion oder behandlung nach einem Kriterium bezeichnen, dessen
Weltanschauung, einer Behinderung, des Alters oder der Heranziehung zu Unterscheidungszwecken als beson-
sexuellen Identität zu verhindern oder zu beseitigen.“ In ders legitimationsbedürftig bewertet wird. Der bloße
anderen Vorschriften wird der Kreis der sogenannten Verweis auf das freie Belieben desjenigen, der die Un-
Diskriminierungsmerkmale22 abweichend bestimmt, terscheidung vornimmt, reicht zur Rechtfertigung der
wiewohl natürlich zahlreiche Überschneidungen beste- Ungleichbehandlung nicht aus.23
21 Zur Klarstellung: Es geht nicht darum, dass die genannten Merkmale „objektiv“ vorliegen und der diskriminierten Person gewissermaßen inhärent sind.
Diskriminierungsverbote schützen vor Unterscheidungen aufgrund bloß zugeschriebener Merkmale (Schiek, 2000; für das AGG siehe BT-Drucks. 16/1780, S. 30 f.).
Damit ist etwa verständlich, dass sich ein Diskriminierungsverbot auf das Merkmal „Rasse“ beziehen kann, die eine soziale, aber keine anthropologische Kategorie
darstellt.
22 Es herrscht eine große begriffliche Vielfalt, die verwirren kann. Man spricht nicht nur von „Diskriminierungsmerkmalen“ (Pärli, 2017, S. 106 ff.), sondern auch
von „verbotenen Merkmalen“ (Schramm, 2013, S. 7), wiewohl verboten selbstverständlich nicht das Merkmal ist, sondern unter Umständen die an das Merkmal
anknüpfende Diskriminierungshandlung. Gleichbedeutend spricht man auch von „geschützten Merkmalen“ (Schramm, 2013, S. 3 und passim); in dieser
Terminologie klingt an, dass Zweck des Diskriminierungsverbots der Schutz von Trägern bestimmter Merkmale ist.
23 Aus juristischer Perspektive: Mit dem Verweis auf die Privatautonomie, verstanden als „das Prinzip der Selbstgestaltung der Rechtsverhältnisse durch den einzelnen
nach seinem Willen“ (Flume, 1965, S. 1) und als „Anerkennung der ‚Selbstherrlichkeit‘ des einzelnen“ (a.a.O., S. 6), ist die vom Entscheider vorgenommene
Ungleichbehandlung nicht abschließend legitimiert.
