Gutachten:
                                                          Technische und rechtliche Betrachtungen
                                                           algorithmischer Entscheidungsverfahren




Vielmehr ist davon auszugehen, dass ein Mindestmaß an Komplexität vorausgesetzt wird,
bevor von einer tatsächlich automatisierten Entscheidung gesprochen werden kann.146 Bei
den genannten einfachen Entscheidungsregeln lässt sich die Entscheidung noch eher auf
denjenigen zurückführen, der die Regel vorgegeben hat (Entscheidung „auf Vorrat“).

Problematisch ist hierbei jedoch, dass für den Einzelnen nicht immer ohne weiteres
ersichtlich ist, wie komplex das Verfahren ist, das zu einer bestimmten Entscheidung führt.
So wird in der Literatur die Genehmigung von Kreditkartenverfügungen als Beispiel für die
„trivialen       Wenn-dann-Entscheidungen“         genannt147;      tatsächlich    werden
Kreditkartenverfügungen in der Regel aufgrund durchaus komplexer Fraud-Detection-
Algorithmen genehmigt oder abgelehnt, die auf maschinellen Lernverfahren beruhen148. Es
ist auch davon auszugehen, dass die Ablehnung einer Kreditkartenverfügung – die noch
dazu gerade auf Auslandsreisen besonders wahrscheinlich ist, also dann, wenn auch
wenige Alternativen zur Verfügung stehen – eine erhebliche Beeinträchtigung darstellt, so
dass Art. 22 DSGVO in diesen Fällen eben doch Anwendung finden dürfte.

In den vorliegend zu betrachtenden verbraucherschutzrelevanten Fällen (und allgemein
beim Einsatz maschineller Lernverfahren) dürfte in aller Regel von einer ausreichenden
Komplexität des Entscheidungsfindungsverfahrens auszugehen sein, so dass die
Anwendbarkeit des Art. 22 DSGVO aus diesem Gesichtspunkt heraus nicht in Frage stehen
dürfte. Dies gilt auch für die vorliegend schwerpunktmäßig betrachteten Fälle, nämlich die
Preisdifferenzierung149 und die Kreditvergabe auf Grundlage maschineller Lernverfahren;
reines Kreditscoring, das als Grundlage einer menschlichen Entscheidung dient, ist aus den
oben genannten Gründen hingegen nicht erfasst (vgl. dazu auch Kapitel 5.5.4).

Nebenbei sei bemerkt, dass sich eine weitere Einschränkung aus Art. 22 Abs. 4 DSGVO
ergibt; sie betrifft die Entscheidungsfindung basierend auf besonderen Kategorien
personenbezogener Daten150. Diese ist nur auf Grundlage einer ausdrücklichen Einwilligung
oder einer gesonderten Rechtsgrundlage und auch dann nur bei Einhaltung angemessener
Schutzmaßnahmen zulässig.

5.5.3 Erlaubnistatbestände
Art. 22 Abs. 2 sieht drei Ausnahmen von dem Verbot aus Abs. 1 vor:

      ●   Die automatisierte Einzelentscheidung ist zulässig, falls sie „für den Abschluss oder
          die Erfüllung eines Vertrags zwischen der betroffenen Person und dem
          Verantwortlichen erforderlich ist“. Die Erforderlichkeit ist so zu verstehen, dass sie
          sich auf die automatisierte Entscheidung bezieht, nicht auf die Notwendigkeit,


146
    Von Lewinski, Art. 22 Rn. 12; Schulz, Art. 22 Rn. 20.
147
    Von Lewinski, Art. 22 Rn. 13.
148
    Ein Bericht über die praktischen Herausforderungen dieser Verfahren findet sich bei Dal Pozzolo/
Caelen/Le Borgne/Waterschoot/Bontempi, Learned lessons in credit card fraud detection from a
practitioner perspective, in Expert Systems with Applications 41(10), Aug. 2014, S. 4915-4928.
149
    So mit Verweis auf eine erhebliche Beeinträchtigung aufgrund der finanziellen Wirkung auch Ernst,
JZ 2017, 1026, 1034 f.
150
    Es handelt sich nach Art. 9 Abs. 1 DSGVO um „personenbezogene Daten, aus denen die
rassische und ethnische Herkunft, politische Meinungen, religiöse oder weltanschauliche
Überzeugungen oder die Gewerkschaftszugehörigkeit hervorgehen“, sowie „genetische Daten,
biometrische Daten zur eindeutigen Identifizierung einer natürlichen Person, Gesundheitsdaten oder
Daten zum Sexualleben oder der sexuellen Orientierung einer natürlichen Person“.


                                                 96

Gutachten:
                                                          Technische und rechtliche Betrachtungen
                                                           algorithmischer Entscheidungsverfahren




          überhaupt eine Entscheidung zu treffen. Gründe könnten sowohl in der
          Geschwindigkeit als auch in der Anzahl zu treffender Entscheidungen liegen.151

      ●   Sie kann außerdem aufgrund anderer Rechtsvorschriften der Europäischen Union
          oder des jeweiligen Mitgliedstaates zulässig sein.

      ●   Schließlich ist die automatisierte Einzelentscheidung auch zulässig, wenn der
          Betroffene ausdrücklich eingewilligt hat; eine lediglich konkludente Einwilligung reicht
          also nicht aus. Auch sind die allgemeinen Anforderungen an eine
          datenschutzrechtliche Einwilligung zu beachten.152

Bereits der erste Ausnahmetatbestand dürfte in einer Vielzahl praktisch relevanter
Fallkonstellationen erfüllt sein; die Schutzwirkung des Art. 22 entfällt dennoch nicht, denn in
allen drei Fällen sind Schutzmaßnahmen für den Betroffenen vorzusehen. Erlaubt eine
Rechtsvorschrift außerhalb der DSGVO die automatisierte Einzelentscheidung, so muss sie
„angemessene Maßnahmen zur Wahrung der Rechte und Freiheiten sowie der berechtigten
Interessen der betroffenen Person enthalten“ (Art. 22 Abs. 2 lit. b DSGVO).

Für die anderen Fälle gilt Abs. 3, wonach der Verantwortliche angemessene Maßnahmen zu
treffen hat – darunter „mindestens das Recht auf Erwirkung des Eingreifens einer Person
seitens des Verantwortlichen, auf Darlegung des eigenen Standpunkts und auf Anfechtung
der Entscheidung“153. Dies führt – mit Ausnahme gegebenenfalls zukünftig möglicher
Rechtsvorschriften, die die Öffnungsklausel des Art. 22 Abs. 2 lit. b nutzen – insgesamt
dazu, dass die betroffene Person, sofern sie ihre Rechte geltend macht, nie gegen ihren
Willen einer endgültigen automatisierten Einzelentscheidung unterworfen werden darf.

Weiter geht die Norm jedoch nicht; dies korrespondiert damit, dass sie für die automatisierte
Entscheidungsvorbereitung gar nicht erst anwendbar ist. Sie kann nicht verhindern, dass
sich der menschliche Entscheider überwiegend auf die Norm verlässt. Zwar wird gefordert,
dass dieser eigenen Entscheidungsspielraum hat; dies zu widerlegen, kann in der Praxis
aber problematisch sein.

Praxis: Wir führten ein Gespräch mit einem Vertreter der hessischen Datenschutzaufsicht
(dem Hessischen Beauftragten für Datenschutz und Informationsfreiheit). Dort wird die
Ansicht vertreten, dass Art. 22 DSGVO ein „stumpfes Schwert“ sei, da in der Praxis
vollständig automatisierte Entscheidungen nur selten vorkämen. Lediglich die automatisierte
Kreditvergabe bei Verbraucherkrediten für Unterhaltungselektronik sei eine relevante
Ausnahme. Auch ein sehr geringer Spielraum seitens der Sachbearbeiter sei ausreichend,
um aus dem Anwendungsbereich des Art. 22 herauszufallen.

5.5.4 Scoring im BDSG
Mit § 31 des neuen BDSG hat auch der nationale Gesetzgeber eine Regelung geschaffen,
die Auswirkungen auf algorithmische Entscheidungen hat. Die Norm regelt – innerhalb des
Anwendungsbereichs der DSGVO – in Abs. 1 die Zulässigkeit von Scoring („Verwendung
eines Wahrscheinlichkeitswerts über ein bestimmtes zukünftiges Verhalten einer natürlichen
Person zum Zweck der Entscheidung über die Begründung, Durchführung oder Beendigung
eines Vertragsverhältnisses mit dieser Person“) allgemein, in Abs. 2 bezogen auf
151
    Von Lewinski, Art. 22 Rn. 43.
152
    Kühling/Buchner-Buchner, DS-GVO, Art. 22 Rn. 42.
153
    Gemeint ist die Einräumung des Rechts als Maßnahme.


                                                 97

Gutachten:
                                                         Technische und rechtliche Betrachtungen
                                                          algorithmischer Entscheidungsverfahren




Wahrscheinlichkeitswerte über die Zahlungsunfähigkeit und -unwilligkeit. Abs. 2 regelt dabei
lediglich, welche Forderungen bei der Berechnung eines Wahrscheinlichkeitswerts durch
Auskunfteien berücksichtigt werden können154.

Ob § 31 BDSG mit der DSGVO vereinbar ist, ist nicht geklärt. Keine der Öffnungsklauseln
der DSGVO erlaubt nach ihrem Wortlaut nationale Regelungen, die das Scoring
einschränken.155 Die Öffnungsklausel des Art. 22 Abs. 1 lit. b DSGVO bezieht sich lediglich
auf Entscheidungen, die auf einer automatisierten Verarbeitung beruhen; Scoring wird aber
nur als entscheidungsvorbereitende Maßnahme gesehen (und auch in der Praxis oft durch
Auskunfteien durchgeführt, die selbst keine Entscheidungen treffen156). Bei einer weiten
Auslegung des Art. 22 Abs. 1 lit. b DSGVO157 oder wenn man § 31 BDSG nicht als
datenschutzrechtliche Norm (sondern als „Schutzvorschrift gegen Diskriminierungen und
Einschränkung der Privatautonomie“158) versteht, lässt sich die Norm aber halten.

Auch wenn Scoring per se lediglich rein entscheidungsvorbereitend ist, können Scoring-
Verfahren natürlich bei der algorithmischen Entscheidungsfindung zum Einsatz kommen.
Selbst wenn man die Anwendbarkeit von § 31 BDSG für das entscheidungsvorbereitende
Scoring ablehnt, lässt sich die Norm doch unionsrechtskonform dahingehend auslegen, dass
automatisierte Entscheidungen auf Basis von Scoring erfasst werden. Offen ist das
Verhältnis zu den weiteren Erlaubnistatbeständen des Art. 22 Abs. 2 DSGVO; stützt man
sich lediglich auf die Öffnungsklausel des Art. 22 Abs. 1 lit. b DSGVO, können diese
Erlaubnistatbestände neben § 31 BDSG treten und kann die automatisierte Entscheidung
trotz Verwendung von Scoring auf eine Einwilligung des Betroffenen gestützt werden.

Die Definition des Scorings setzt voraus, dass ein Wahrscheinlichkeitswert berechnet wird.
Wahrscheinlichkeiten werden in der Mathematik üblicherweise so definiert, dass sie lediglich
Werte im Intervall [0;1] annehmen können. Eine Beschränkung auf den mathematischen
Wahrscheinlichkeitsbegriff würde jedoch dem Schutzzweck der Norm nicht gerecht. Auch
grobe Klassifizierungen wie die Einteilung in eine von drei Risikoklassen oder
Umrechnungen, etwa in eine Skala von 0 bis 20, sind also erfasst.

Scoring ist nach § 31 Abs. 1 BDSG nur zulässig, wenn vier Voraussetzungen erfüllt sind.
Demnach müssen bei der vorherigen Verarbeitung der Daten die datenschutzrechtlichen
Vorschriften eingehalten worden sein; es dürfen nicht ausschließlich Anschriftendaten für die
Berechnung genutzt werden, und wenn Anschriftendaten für die Berechnung genutzt
werden, muss der Betroffene hierüber unterrichtet werden. Schließlich müssen die zur
Berechnung des Wahrscheinlichkeitswerts genutzten Daten auch „unter Zugrundelegung
eines wissenschaftlich anerkannten mathematisch-statistischen Verfahrens nachweisbar für
die Berechnung der Wahrscheinlichkeit des bestimmten Verhaltens erheblich“ sein. Wie
diese Erheblichkeitsschwelle praktisch festgelegt werden kann, wird in der Literatur bislang
aber nicht thematisiert.



154
    Eigentlich regelt Abs. 2 die Verwendung des berechneten Werts, hat aber natürlich eine direkte
Auswirkung auf die Auskunfteien, die den Wert berechnen.
155
    Kühling et al. 2016, S. 440-445.
156
    Wohl aber kann der errechnete Score-Wert später durch eine Bank bei der Entscheidung über die
Kreditvergabe, sei es durch einen Sachbearbeiter oder ein ADM-System, berücksichtigt werden.
Gegebenenfalls (bei Verwendung eines ADM-Systems) findet Art. 22 DSGVO an dieser Stelle
Anwendung.
157
    Dazu ausführlich Kühling et al. 2016, S. 440-445.
158
    Kühling NJW 2017, 1985, 1988.


                                               98

Gutachten:
                                                       Technische und rechtliche Betrachtungen
                                                        algorithmischer Entscheidungsverfahren




Praxis: Wir führten ein Gespräch mit einem Vertreter der hessischen Datenschutzaufsicht
(dem Hessischen Beauftragten für Datenschutz und Informationsfreiheit). In diesem
Gespräch erfuhren wir, dass zur Prüfung, ob das Scoring der Schufa den Anforderungen der
Vorgängernorm § 28b BDSG a.F. genügte, Gutachten vorgelegen haben. Daraus hätten
sich keine Zweifel an der wissenschaftlichen Fundiertheit des Verfahrens und der Adäquanz
der verwendeten Attribute ergeben; für einen besonders strengen Prüfungsmaßstab habe es
keinen Anlass gegeben.

Fraglich ist auch, ob jedes einzelne Attribut für sich genommen erheblich sein muss oder
auch die Erheblichkeit von Attributkombinationen ausreicht. Dies ist gerade für maschinelle
Lernverfahren relevant, die ihre Stärke insbesondere dann ausspielen, wenn zahlreiche
Attribute bekannt sind – wobei der Beitrag einzelner Attribute für die Entscheidung aber
gegebenenfalls gering sein kann. Zudem ist dieser Beitrag in der Regel nicht im Vorhinein
bekannt; bei einer engen Auslegung der Norm besteht die Möglichkeit einer zu starken
Einschränkung der Anwendbarkeit maschineller Lernverfahren. Dies gilt mehr noch für
innovative und zukünftige Anwendungen als für solche, die das momentan wohl am
weitesten verbreitete statistische Modell der logistischen Regression nutzen, da dieses
hinsichtlich der Erkennung nichtlinearer Zusammenhänge beschränkt ist (vgl. Kapitel 4.1).

Inwieweit eine Einschränkung auf einzelne, gegebenenfalls sogar im Vorhinein bekannte
Attribute – die die Grundannahmen des Big-Data-Paradigmas betrifft – erwünscht ist, ist
politisch und juristisch noch zu klären. Die Diskussion steht hier allerdings erst am Anfang.

Es sei darauf hingewiesen, dass der Bundesrat in seiner Stellungnahme159 zum Daten-
schutz-Anpassungs- und -Umsetzungsgesetz EU deutlich weitergehende Regelungen zum
Scoring gefordert hat, so z.B. eine „Eingrenzung der zulässigen Datenarten und -quellen bei
Aufstellung von Scoring-Verfahren“. Diese sind allerdings nicht in das Gesetz eingeflossen.

5.5.5 Informationspflichten
Als weiteres Schutzinstrument bei automatisierten Entscheidungen enthält die DSGVO in
Art. 13 und 14 spezifische Informationspflichten des Verantwortlichen. Art. 13 und 14
DSGVO regeln Informationen, die der betroffenen Person mitzuteilen sind, wenn die Daten
direkt bei ihr erhoben werden (Art. 13) bzw. wenn sie nicht direkt bei ihr erhoben werden
(Art. 14). In beiden Fällen ist über „das Bestehen einer automatisierten
Entscheidungsfindung einschließlich Profiling gemäß Artikel 22 Absätze 1 und 4“ zu
informieren. Dazu gehören „– zumindest in diesen Fällen [also jenen der Absätze 1 und 4] –
aussagekräftige Informationen über die involvierte Logik sowie die Tragweite und die
angestrebten Auswirkungen einer derartigen Verarbeitung für die betroffene Person“ (Art. 13
Abs. 2 lit. f und wortgleich Art. 14 Abs. 2 lit. g). Inwieweit solche Informationen zur Kenntnis
genommen werden und ob – etwa im bereits genannten Beispiel der Autorisierung einer
Kreditkartentransaktion – die betroffene Person eine einmal erhaltene Information mit einer
gegebenenfalls Jahre später getroffenen Entscheidung in Verbindung bringt, ist allerdings
offen.

Auch ist darauf hinzuweisen, dass der Anwendungsbereich der genannten
Informationspflicht demjenigen des Art. 22 entspricht und somit auf automatisierte



159
      BR-Drs. 110/17 (Beschluss), S. 30-32.


                                              99

Gutachten:
                                                        Technische und rechtliche Betrachtungen
                                                         algorithmischer Entscheidungsverfahren




Entscheidungen (nach dem vorherrschenden engen Verständnis dieser Norm also nicht auf
die Entscheidungsvorbereitung160) begrenzt ist.161

Die genannten „aussagekräftigen Informationen über die involvierte Logik“ beinhalten keine
Offenlegung des verwendeten Algorithmus oder der verwendeten Trainingsdaten eines
maschinellen Lernverfahrens.162 Für die meisten betroffenen Personen wären diese nicht
hilfreich und somit auch nicht aussagekräftig; Martini stellt auf die „grundsätzliche
Entscheidungsstruktur, die den implementierten Algorithmen zugrunde liegt“, ab. 163 Da die
Trainingsdaten in vielen Fällen personenbezogene Daten Dritter sein werden164, wäre ein
bedingungsloser Anspruch auf deren Herausgabe ohnehin problematisch. Ein Anspruch auf
eine genaue Begründung der einzelnen Entscheidung lässt sich auch dem Wortlaut der
Norm nicht entnehmen. Mit Ernst ist davon auszugehen, dass die Informationspflicht die
Nennung der für eine Entscheidung herangezogenen Kriterien umfasst – der Nutzen dieser
Nennung für den Betroffenen ist aber begrenzt.165

5.5.6 Zwischenfazit zur datenschutzrechtlichen Algorithmenregulierung
Auf dem aktuellen Stand der Diskussion ist festzuhalten, dass Art. 22 DSGVO im
Zusammenhang mit den Informationspflichten aus Art. 13 und 14 DSGVO bereits einen
Großteil der hier interessierenden algorithmischen Entscheidungen – jedoch nicht die
Entscheidungsvorbereitung166 – erfasst. Im Kern sichert er die Möglichkeit einer
menschlichen Überprüfung zu, sofern die Letztentscheidung nicht – wie bei der Verwendung
von Scoring-Verfahren oft der Fall – ohnehin durch einen Menschen gefällt wird.

Es wird zu diskutieren sein, ob die getroffenen Regeln auch praktisch ausreichen, da eine
Offenlegung von Entscheidungsgründen gerade nicht gefordert ist und auch die Zielrichtung
des Art. 22 nicht die Fehlerminimierung des Entscheidungsverfahrens, sondern vielmehr nur
den Umgang mit getroffenen, möglicherweise fehlerhaften Entscheidungen umfasst167. Wie
auch im Fall der AGG-widrigen Diskriminierung ist im Fall des Art. 22 DSGVO zunächst
keine Ex-ante-Prüfung vorgesehen. Bezogen auf alle drei Gefährdungsszenarien (aus
Kapitel 2.2) ist festzuhalten, dass keines dieser Szenarien vollständig durch Artikel 22
unterbunden werden kann. Die Richtigkeit der Entscheidungen und der Schutz vor
Diskriminierung spielen gegebenenfalls eine Rolle im Rahmen der Maßnahmen nach Abs. 3;
auch das gegebenenfalls bestehende Recht auf menschliche Überprüfung der Entscheidung
kann im Einzelfall hilfreich sein. Jenseits des Einzelfalls verhindern kann Art. 22 aber weder
inhaltlich unrichtige noch diskriminierende Entscheidungen. Die an Art. 22 anknüpfenden
Informationspflichten erhöhen die Transparenz über algorithmische Entscheidungen; ihr

160
    Kritisch zu diesem engen Anwendungsbereich Wischmeyer, AöR 2018, 1, 22 f.
161
    Vgl. Martini, JZ 2017, 1017, 1020.
162
    So auch, bezogen auf den Programmcode, Martini, JZ 2017, 1017, 1020. Auch Kühling/Buchner-
Buchner, Art. 22 Rn. 35, sehen keinen Anspruch auf Offenlegung des Algorithmus. Bereits auf
Grundlage des § 34 Abs. 4 S. 1 Nr. 4 BDSG a.F. hatte der BGH einen entsprechend weiten Anspruch
auf Auskunft über die genaue Berechnungsformel für den Schufa-Score abgelehnt (BGH, Urteil vom
28.01.2014 – VI ZR 156/13 –, BGHZ 200, 38).
163
    Martini, JZ 2017, 1017, 1020.
164
      Auch beim trainierten Modell lässt sich nicht ausschließen, dass Rückschlüsse auf
personenbezogene Daten Dritter gezogen werden können.
165
    Ernst, JZ 2017, 1026, 1033.
166
    Martini, JZ 2017, 1017, 1020.
167
    So weist auch Ernst, JZ 2017, 1026, 1030 darauf hin, dass ein Mensch dieselbe Entscheidung
treffen kann, die als maschinelle Entscheidung unzulässig wäre – es also nicht auf den Inhalt der
Entscheidung ankomme.


                                              100

Gutachten:
                                                            Technische und rechtliche Betrachtungen
                                                             algorithmischer Entscheidungsverfahren




Anwendungsbereich geht aber nicht über den des Art. 22 hinaus, so dass auch hier die – in
der Praxis äußerst relevante – Entscheidungsvorbereitung außer Acht bleibt.

Es sei jedoch darauf hingewiesen, dass algorithmische Entscheidungen lediglich ein
Sonderfall der Verarbeitung (Definition in Art. 4 Nr. 2 DSGVO) sind; somit sind die
allgemeinen datenschutzrechtlichen Regeln anwendbar. Dies gilt auch für Art. 35 DSGVO,
der die Datenschutz-Folgenabschätzung regelt. Bei einem „hohen Risiko für die Rechte und
Freiheiten natürlicher Personen“ (Art. 35 Abs. 1) durch die algorithmische Entscheidung
muss der Verantwortliche die Verarbeitungsvorgänge, deren Notwendigkeit und
Verhältnismäßigkeit gemäß dem verfolgten Zweck, die Risiken und Abwehrmaßnahmen
dokumentieren. Es ist nicht davon auszugehen, dass algorithmische Entscheidungen
grundsätzlich solch hohe Risiken mit sich bringen; es wäre aber zumindest denkbar, die
Pflicht zur Durchführung einer Folgenabschätzung auszuweiten.

Offen ist die genaue Bedeutung des § 31 BDSG für ADM-Systeme. Dies liegt einerseits an
der noch nicht abschließend geklärten Frage nach seiner Vereinbarkeit mit der DSGVO;
andererseits ist die Anforderung, dass die verwendeten Daten für die Berechnung der
Wahrscheinlichkeit    des    bestimmten    Verhaltens   „erheblich“   sein    müssen,
auslegungsbedürftig.

Hacker168 führt an, dass das Datenschutzrecht im Zusammenspiel mit dem
Antidiskriminierungsrecht geeignet sein könne, um die Fairness von ADM herzustellen. Er
verweist dazu auf das Auskunftsrecht nach Art. 15 Abs. 1 DSGVO, die Befugnisse der
Aufsichtsbehörden, Datenschutzüberprüfungen vorzunehmen, sowie die genannte
Datenschutz-Folgenabschätzung. Ob die Reichweite der Normen ausreicht, um dieses Ziel
zu erreichen, ist jedoch unklar; hierzu bedarf es noch weiterer Forschung.



5.6   Regulierung   algorithmischer                                Entscheidungen                  im
Wertpapierhandelsgesetz (WpHG)
Jenseits der in der vorliegenden Studie betrachteten Anwendungsgebiete spielen
algorithmische Entscheidungen bereits heute im Wertpapierhandel eine wesentliche Rolle;
zum Teil werden diese binnen Sekundenbruchteilen getroffen. Der Gesetzgeber hat auf
diese Entwicklung mit dem Hochfrequenzhandelsgesetz reagiert. Mit diesem Artikelgesetz
wurden insbesondere das Börsengesetz, das Wertpapierhandelsgesetz und das
Kreditwesengesetz angepasst.

Die neuen Regelungen betreffen die Zuverlässigkeit und Sicherheit der verwendeten
Systeme und sollen Störungen des Marktes sowie Marktmanipulationen verhindern.169
Spezielle Regelungen für Algorithmen, die maschinelle Lernverfahren einsetzen, gibt es
nicht. Die Zielrichtung der genannten gesetzlichen Regelungen steht also nicht im
Zusammenhang mit dem vorliegend zu untersuchenden Problembereich. Erwähnenswert ist
allerdings die Rolle der Aufsichtsbehörde: Gemäß § 6 Abs. 4 WpHG kann die Bundesanstalt
für Finanzdienstleistungsaufsicht Informationen über den algorithmischen Handel und die
dafür eingesetzten Systeme von Wertpapierdienstleistungsunternehmen anfordern.
Organisatorische      (Sicherheits-)Maßnahmen    sind   in   §     80   Abs.   2   und
168
    Hacker 2018, Teaching Fairness to Artificial Intelligence, Working Paper, April 2018, S. 25, 28 f.,
32.
169
    Dazu ausführlicher der Regierungsentwurf, BT-Drs. 17/11631, S. 1-2.


                                                 101

Gutachten:
                                                   Technische und rechtliche Betrachtungen
                                                    algorithmischer Entscheidungsverfahren




Dokumentationspflichten in § 80 Abs. 3 WpHG geregelt. Unser Interview mit der
Wertpapiergruppe der Bundesanstalt ergab jedoch, dass diese die Algorithmen selbst
regelmäßig nicht überprüft.

Das Modell, algorithmische Entscheidungen in besonders risikobehafteten Bereichen von
bestimmten technischen und/oder organisatorischen Maßnahmen abhängig zu machen, die
von einer Aufsichtsbehörde überprüft werden können, lässt sich grundsätzlich auch auf die
vorliegend betrachteten Anwendungsfälle übertragen. Die Erfahrungen, die im
Anwendungsbereich des WpHG gemacht wurden, lassen sich aber nicht verallgemeinern.
Zum einen ist die durch das WpHG adressierte Gefahrenlage dafür zu spezifisch; zum
anderen betreffen die Regelungen des WpHG zum algorithmischen Handel einen ohnehin
bereits stark regulierten Sektor, was bei anderen Anwendungen algorithmischer
Entscheidungen nicht der Fall ist.

Eine tiefergehende Analyse der Regelungen des WpHG wird daher an dieser Stelle nicht
durchgeführt.




                                          102

Gutachten:
                                                          Technische und rechtliche Betrachtungen
                                                           algorithmischer Entscheidungsverfahren




6    Regulierung     und                              Standardisierung                         im
internationalen Vergleich

6.1 Übersicht und Kontextualisierung
Das Bewusstsein der Problematik ist in allen analysierten Ländern hoch, sowohl bei
politischen Entscheidungsträgern als auch in der Bevölkerung. Dies ist getrieben zum einen
durch eine Reihe von medienwirksamen Vorfällen, die die Gefahren und den Missbrauch
von Algorithmen auch einer breiteren Öffentlichkeit vermittelten,170 zum anderen durch die
Veröffentlichung einer Reihe populärwissenschaftlicher Studien, die über problematische
Einzelfälle hinaus das Gefährdungspotenzial der algorithmischen Gesellschaft
hervorgehoben haben.171 Beispiele von Diskriminierung aufgrund von Geschlecht und
ethnischer Herkunft dominieren dabei die Debatte, die so insbesondere in den USA politisch
stark polarisierte Positionen annehmen kann. Dies erzeugt zum einen politischen
Handlungsdruck, zum anderen aber auch eine Dynamik, die die genaue Ausgestaltung
neuer Regulierung erschwert.

In einem Versuch, die dynamische und noch sehr heterogene Diskussion zu
systematisieren, strukturieren wir dieses Kapitel nicht nach Rechtsordnungen, sondern
stellen exemplarisch Vorschläge vor – einige wie das französische Gesetz zur
Fairnesspflicht der Onlineplattformen sind nur in einer Rechtsordnung zu finden, andere
typischerweise in der Diskussion in mehreren Ländern. Es ist möglich, die Ergebnisse grob
in drei Typen zu kategorisieren: So finden wir Vorschläge, die in erster Linie die Transparenz
erhöhen wollen und sich dann typischerweise auf die Regulierung durch den Markt und den
freien Wettbewerb verlassen. Ein sehr anderer Ansatz verbietet kategorisch (Formen der)
Diskriminierung. Hier kann der Schwerpunkt entweder auf der Analyse der Ergebnisse (a
posteriori) sein, mit Sanktionen, wenn sich diese als diskriminierend erweisen, oder auf dem
„Input“, d.h. einem A-priori-Verbot bestimmter Techniken, oder einem Gebot, nur bestimmte
geprüfte Methoden zu verwenden. Parallel zu dieser Unterscheidung finden sich Vorschläge,
die sich primär auf den Input in den Algorithmus konzentrieren und etwa durch
Datenschutzregeln gewisse Daten gar nicht erst verfügbar machen, während andere sich
primär auf das Ergebnis der Analyse und die Verwendung des Ergebnisses konzentrieren.
Häufig werden alle drei Ansätze verbunden, insbesondere in Vorschlägen, die nach einer
neuen Aufsichtsbehörde verlangen.


170
    Mit weiteren Beispielen: O’Donnell, F.: What we talk about when we talk about fair AI, BBC News
Labs, 11.12.2017 [https://bit.ly/2AAkk6t]; Guynn, J. (1. Juli 2015). „Google Photos labeled black
people ‘gorillas‘“. USA TODAY; Day, M. (31. August 2016). „How LinkedIn’s search engine may
reflect a gender bias“. The Seattle Times; Angwin, Julia et al. „Machine bias: There’s software used
across the country to predict future criminals and it’s biased against blacks.“ ProPublica, May 23
(2016); Derek Hawkins, „Researchers use facial recognition tools to predict sexual orientation. LGBT
groups aren’t happy“, The Washington Post; Asian People Are Not Impressed With Their Matches On
Google’s Museum Selfie Feature, Buzzfeed 17.01.2018; Hayasaki: Is AI sexist? Foreign Policy
16.01.2017; Ian Sample: Computer says no: why making AIs fair, accountable and transparent is
crucial, The Guardian 4.11.2017.
171
     Siehe als besonders einflussreich, gemessen am Zitationsindex, Besprechungen und
Suchmachinenranking, insbesondere Pasquale 2015, O’Neil 2016, Finn 2017, Finlay 2014, Siegel
2013, Noble 2018, Wachter-Boettcher 2017, Steiner 2013, Dormehl 2014.


                                                103

Gutachten:
                                                        Technische und rechtliche Betrachtungen
                                                         algorithmischer Entscheidungsverfahren




Was in der gegenwärtigen Diskussion zur Regulierungsthematik oft vergessen wird, ist wie
alt das Problem ist – so gab es bekannte Beispiele für rechtswidrig diskriminierende
lernende Algorithmen bereits in den frühen 1980er Jahren. Der Algorithmus, der von 1982
bis 1985 die Zulassung zur St. George’s Hospital Medical School kontrollierte, benachteiligte
so systematisch Bewerber mit „ausländisch klingenden“ Namen aufgrund historischer
Entscheidungsmuster.172 Älter ist sogar die Frage, ob Datenschutzrecht geeignet ist, den
Missbrauch von Scoring zu verhindern. Wir diskutierten oben Gesetze aus der Zeit der
Bürgerrechtsbewegung in den USA, die diskriminierende Entscheidungen zu verhindern
suchen. Gleichzeitig mit dem Erlassen dieser Gesetze wurde der Fair Credit Reporting Act,
15 U.S.C. § 1681, im Jahr 1970 erlassen und 1996, 2003 und 2010 erheblich geändert. Der
FCRA begrenzt nicht, welche Informationen von Kreditauskunfteien gesammelt werden,
sondern konzentriert sich auf die Beschränkung des Zugangs Dritter zu Kreditdaten für
zulässige Gewährleistung der Richtigkeit dieser Daten, Benachrichtigung der Verbraucher
über nachteilige Maßnahmen auf der Grundlage solcher Daten und Gewährleistung des
Zugangs der Verbraucher zu Daten, und die Möglichkeit, Daten über sich selbst zu
korrigieren. Die Anhörungen der Kreditinstitute und des Equifax-Vorläufers Retail Credit
Company durch den US-Kongress brachten auch damals schon die gleichen Fragen zum
(Miss)brauch von Big Data zur Profilierung, wie wir sie heute finden.173

Die Debatte zur rechtlichen Regulierung von „klassischen“, d.h. nichtlernenden, Algorithmen
durch die öffentliche Hand ist nur wenig älter, mit einem der ersten Beispiele der Social
Security Act 1998 in England, der vollautomatische Entscheidungen über
Sozialhilfeansprüche auf eine rechtliche Grundlage stellte und auch in der
parlamentarischen Debatte große Bedenken gegenüber vollautomatischen Entscheidungen
hervorrief.174 In der Diskussion zu diesen regelbasierten Algorithmen (Expertensysteme)
waren indes die Sorge nicht so sehr diskriminierende, intransparente oder ungerechte
Entscheidungen (regelbasierte Systeme sind zumindest in der Theorie hier weniger anfällig),
sondern die Frage, ob ein solches Modell der Interaktion zwischen Staat und Bürgern mit
Grundprinzipien der Menschenwürde zu vereinbaren ist.175 Diese Diskussion ist daher nur
bedingt auf die gegenwärtige Debatte übertragbar.

Von akademischer Seite gab es seit den 1990er Jahren Warnungen – in einer frühen Studie
von Friedman und Nissenbaum identifizierten die Autoren diskriminierende Algorithmen im
Gesundheitswesen (Diskriminierung von verheirateten Patienten in der Zuweisung von
Pflegeplätzen) und wettbewerbsrechtlich problematische Empfehlungen von Flügen.176
Diskriminierende Rankings von Suchmaschinen dominierten diese frühen Debatten.177

Trotz des schon früh existierenden Bewusstseins über mögliche ethische und rechtliche
Probleme führten diese Debatten nicht zu einer effizienteren Regulierung. So ist es möglich,
dass mehr als 30 Jahre, nachdem der St. George’s Algorithmus aufgrund von Namen
Minderheiten diskriminierte, gleiche Vorwürfe gegen Versicherer in Großbritannien von der


172
    Lowry 1988.
173
     Siehe etwa Retail Credit Co. of Atlanta, Ga 1968; für eine historische Diskussion siehe
Ohlhausen/Okuliar 2015.
174
    Le Sueur 2016.
175
    So etwa Oliver Letwin MP in der parlamentarischen Anhörung, zu finden als Standing Committee
B, 28 October 1997 (Morning), Keith Bradley MP, Parliamentary Under-Secretary of State for Social
Security.
176
    Friedman/Nissenbaum 1996, S. 48-51.
177
    Siehe z.B. Mowshowitz/Kawaguch 2002, S. 56-60; Introna/Nissenbaum 1999.


                                              104

Gutachten:
                                                          Technische und rechtliche Betrachtungen
                                                           algorithmischer Entscheidungsverfahren




Presse gemacht werden konnten.178 Die Journalisten hatten unter Benutzung verschiedener
Namen, aber ansonsten identischer Angaben Quotierungen für eine Fahrzeugversicherung
beantragt. „Mohameds“ wurden dabei systematisch höhere Raten angeboten als „Johns“. Es
muss angemerkt werden, dass beide genannten Versicherungen die Vorwürfe strikt
zurückweisen. Sie argumentieren, dass die unterschiedlichen Angebote entweder
„unvergleichbar“ gewesen seien, da sie neben dem Preis auch in den Leistungen
unterschiedlich waren, dass die Journalisten die Preisstruktur nicht richtig verstanden hätten
oder dass die Verwendung identischer Daten trotz verschiedener Namen den
Betrugswarnungsalgorithmus ausgelöst hätte und dies zu unterschiedlichen Resultaten
führte.179

Wenngleich die Probleme und Diskussionen daher nicht neu sind, und in dieser Hinsicht
bislang Regulierung oder Selbstregierung scheinbar wenig Erfolg hatten, zeigt eine
genauere Analyse dieses und ähnlicher Fälle aus den USA und Großbritannien auch, wie
sich seit 1982 das gesellschaftliche und politische Umfeld geändert hat. Waren es in den
80ern ausschließlich Wissenschaftler mit dem notwendigen Fachwissen, so waren es in
diesem und einer Reihe ähnlicher Fälle Enthüllungsjournalisten, die den Algorithmus
testeten. Ihre Methoden waren einerseits sehr einfach, schnell und billig, andererseits aber
auch nicht sehr systematisch: Einige Faktoren wurden kontrolliert, andere nicht, ohne dass
eine besondere Systematik erkennbar wäre. So wurden verschiedene Computer mit
verschiedenen IP-Adressen verwendet, um auszuschließen, dass der angebotene Preis das
Ergebnis von „personeller Preiskalkulation“ war, die außer den groben Kategorien aus dem
Antragsformular auch noch Daten der individuellen Onlineinteraktion, wie z.B die
Geolokalisierung des Kunden, hinzunimmt.180 Dies zeigt einerseits, dass die Sorge, dass
sich die algorithmische Blackbox prinzipiell der gesellschaftlichen Aufsicht entzieht,
unbegründet ist. Insbesondere auch dann, wenn wie im Fall der COMPAS-Enthüllungen181
zum rassistischen Strafbemessungsalgorithmus Wissenschaftler und Journalisten
zusammenarbeiteten,182 waren die Ergebnisse überzeugend und erzeugten nun auch in der
breiteren Öffentlichkeit den Ruf nach staatlicher Regulierung – wie unter anderem die
Einreichungen zu den öffentlichen Konsultationen zeigen.

Andererseits offenbaren diese Beispiele auch die Grenzen solcher Analysen durch
Privatpersonen: Sowohl in Großbritannien als auch den USA haben die Firmen, die die
Algorithmen entwickelten (USA) oder verwendeten (UK), die Schlussfolgerung, dass eine
ungerechtfertigte Diskriminierung vorliegt, zurückgewiesen. Dabei traten sie keinen
Gegenbeweis an, sondern beschränkten sich darauf, mögliche Fehlerquellen in den Studien
aufzuzeigen. Für uns belegt dies die Notwendigkeit standardisierter und extern validierter
Prüfungsschemata und Methoden als Minimum.

178
    Ben Leo, Motorists fork out £1,000 more to insure their cars if their name is Mohammed, The Sun,
22. Januar 2018 [https://bit.ly/2Bl2MGE], siehe auch DecisionMarketing, Admiral Insurance hit by big
data discrimination claims, 24. Januar 2018 [https://bit.ly/2CBk1tt].
179
    Vic Motune, Are black drivers paying more car insurance?, The Voice vom 17. Februar 2018
[https://bit.ly/2wWlqFM].
180
    Personalisierte Preissetzung ist möglich und wird auch von einigen Unternehmen verwendet, doch
zeigt eine Studie für die US-Regierung, dass bislang (Stand 2015) dies noch die Ausnahme zu sein
scheint. Siehe Executive Office of the President of the United States (Council of Economic Advisors)
2015: Big Data and Differential Pricing.
181
    Angwin et al. 2016.
182
    Die zentrale Rolle von Journalisten in der Kontrolle von Algorithmen und die Entwicklung neuer
Trainingsprogramme und Ressourcen werden diskutiert von Catalina Albeanu: What journalists can
do to hold algorithms to account, Journalism UK 14.4.2018 [https://bit.ly/2qsZhL0].


                                                105