gi-studie-algorithmenregulierung
Dieses Dokument ist Teil der Anfrage „Gutachten des Sachverständigenrats für Verbraucherfragen“
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
durch Einsicht in den Programmablauf mit verhältnismäßigem Aufwand nachvollzogen
werden kann, und andererseits Fälle, in denen dies nicht der Fall ist.
Aus den vorgenannten Überlegungen ergibt sich als Fragestellung für diese Studie, ob und
mit welchen Mitteln bei determinierten Entscheidungen einerseits, undeterminierten
(Beurteilungs-)Entscheidungen andererseits ein Fehler der Beurteilung festgestellt werden
kann. Diese Frage wird hier am Beispiel der Diskriminierung untersucht.
7.2.2 Mittel der Feststellung von Diskriminierung durch maschinelle
Beurteilungen
Zur Feststellung von Diskriminierung durch maschinelle Beurteilungen werden vor allem
zwei Mittel diskutiert: die Analyse des Programms, dem die Entscheidung folgt, und das
Testen des Systems auf Diskriminierung.
7.2.2.1 Code-Analyse
Als geeignetes Mittel zur Feststellung von Diskriminierung durch Algorithmen wird in der
Literatur, nicht zuletzt in der Studie von Martini, die Code-Analyse genannt. Damit ist
gemeint, dass durch Einsicht in das Computerprogramm, das die Beurteilung der Person
vornimmt, untersucht wird, ob eine Diskriminierung im Sinne einer unmittelbaren
Benachteiligung aufgrund eines unzulässigen Merkmals vorliegt.
Die Code-Analyse zur Ermittlung einer etwaigen Diskriminierung steht vor erheblichen
Herausforderungen:
● Eine solche Untersuchung kann sehr anspruchsvoll sein: Sie kann sehr aufwendig
sein, insbesondere wenn das Computerprogramm umfangreich ist und die
Verwendung des Merkmals nicht offensichtlich ist. In jedem Fall setzt eine solche
Analyse Fachkenntnisse voraus und wird daher regelmäßig nur von Experten
durchgeführt werden können.
● Bei Verfahren, die Technologien des Machine Learning nutzen, läuft die Code-
Analyse weitgehend ins Leere. Wie bereits in Kapitel 3.1 erklärt, müssen solche
Modelle in vielen Fällen als intransparente Blackboxes angesehen werden, die
lediglich auf Testdaten statistisch evaluiert werden können. Dies wiederum setzt
Testdaten voraus, die entsprechend bestimmten Kriterien der technischen
Kompatibilität, statistischen Repräsentativität, Aktualität und Tauglichkeit als
Prüfungsmaßstab genügen müssen. Falls trainierte Modelle als einsehbare Whitebox
zur Verfügung stehen, ist eine Expertenprüfung zwar prinzipiell möglich, jedoch mit
großem Aufwand verbunden und zum nächsten Modelltrainingszyklus im Regelfall
obsolet. Die Möglichkeit, dies durch strukturierte Prozesse praktikabel zu gestalten,
wird im Gutachten entsprechend untersucht (siehe Kapitel 4.4).
● Ein wesentliches Hindernis der Feststellung von Diskriminierung durch Code-Analyse
ist die Verfügbarkeit des Computerprogramms zur Einsichtnahme und Analyse. Die
von der Beurteilung betroffene Person hat typischerweise selbst keinen Zugriff auf
das Programm, das meist im Besitz des Vertragspartners oder eines Dritten, etwa
eines Dienstleisters, steht. Es bedarf mithin eines Rechts auf Einsicht in oder
Herausgabe des Programms zur Untersuchung. Ein solches Recht besteht derzeit
weder in Form eines zivilrechtlichen Anspruchs auf Einsichtnahme oder Herausgabe
des Programms noch in Form einer expliziten Einsichtsbefugnis einer Behörde. Als
141
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
maßgeblicher Stand des Rechts kann wohl die Entscheidung des BGH zum Schufa-
Scoring angesehen werden, in der der BGH die Frage, ob sich aus § 34 Abs. 4
BDSG a.F. ein Anspruch auf Kenntnis des Scoringprogramms der Schufa ergibt, mit
Blick auf den Schutz des Programms als Geschäftsgeheimnis verneinte.288
● Der BGH stützt seine Entscheidung auf den Willen des Gesetzgebers,
Geschäftsgeheimnisse der Auskunfteien zu schützen. Den Umfang des vom
Auskunftsanspruch nach § 34 BDSG a. F. ausgenommenen Geschäftsgeheimnisses
beschreibt der BGH wie folgt: „Zu den nach dem gesetzgeberischen Willen als
Geschäftsgeheimnis geschützten Inhalten der Scoreformel zählen damit die im
ersten Schritt in die Scoreformel eingeflossenen allgemeinen Rechengrößen, wie
etwa die herangezogenen statistischen Werte, die Gewichtung einzelner
Berechnungselemente bei der Ermittlung des Wahrscheinlichkeitswerts und die
Bildung etwaiger Vergleichsgruppen als Grundlage der Scorekarten.“. Die h.M. der
Literatur teilt die Auffassung des BGH.289
● Als Stand des geltenden Rechts wird man daher annehmen müssen, dass
zivilrechtliche Auskunftsansprüche als solche regelmäßig nicht bestehen. Dies wirkt
sich auch auf die Untersuchung im Rahmen zivilrechtlicher Verfahren aus. Im
Zivilprozess gilt entsprechend dem Beibringungsgrundsatz, wonach die Parteien den
Streitstoff vollständig vortragen müssen, dass die beweisbelastete Partei die
Diskriminierung durch die maschinelle Beurteilung substantiiert vortragen muss.
Soweit dazu eine Code-Analyse genutzt werden muss, muss diese also zur
Vorbereitung des Prozesses vorliegen. Eine Auskunft vor Vorbereitung einer Klage
oder zur Erstellung eines schlüssigen Vortrags kann nach deutschem Prozessrecht,
anders als nach Prozessordnungen, die etwa eine „pre-trial discovery“ kennen, nicht
verlangt werden.
Zusammengefasst ergeben sich für das Mittel der Code-Analyse folgende wesentliche
Herausforderungen:
1.) Die Code-Analyse kann sehr aufwendig sein. Die Kosten können, bei Überprüfung
in einem Einzelfall, in einem ungünstigen Verhältnis zum Gegenstandswert stehen.
2.) Die Code-Analyse läuft bei selbstlernenden Systemen weitgehend ins Leere,
soweit nicht einfach nachvollziehbare Modelle (wie z.B. die logistische Regression)
verwendet werden.
3.) Die Untersuchung des Codes zur Feststellung von Diskriminierung ist aus
rechtlichen Gründen meist nicht möglich.
7.2.2.2 Tests
Als Mittel zur Feststellung von Diskriminierung wird in der aktuellen Forschung vor allem das
Testen von Programmen genannt. Ein wesentlicher Vorteil dieses Konzepts ist, dass es
auch bei selbstlernenden Systemen zur Anwendung kommt und damit eine wesentliche
Schwäche der Code-Analyse vermeidet.
288
BGH, Urteil vom 28.01.2014 – VI ZR 156/13 –, BGHZ 200, 38.
289
Bräutigam/Schmidt-Wudy, CR 2015, 57, 62; Conrad, in: Auer-Reinsdorff/Conrad, § 34 Rn. 498;
Dix, in: Simitis, § 34 Rn. 33; Gola/Klug/Körffer, in: Gola/Schomerus, BDSG, § 34 Rn. 12f; Kugelmann,
DuD 2016, 566, 568; Martini, in: Paal/Pauly, Art. 22 Rn. 22; Paal/Hennemann, in: Paal/Pauly, Art. 13
Rn. 31; Taeger, MMR 2014, 492, 493.
142
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
Auch das Testen von Systemen auf Diskriminierung steht vor Herausforderungen.
Geeignete standardisierte Testverfahren stehen, soweit ersichtlich, derzeit nicht in jedem
Fall oder gar nicht zur Verfügung. In Bezug auf Machine Learning sind Testverfahren zurzeit
Gegenstand der Forschung (siehe Kapitel 4.3.3).
Die Entwicklung und Durchführung eines Tests für eine spezielle Anwendung ist möglich,
kann aber mit erheblichem Aufwand verbunden sein. Allerdings ist zu vermuten, dass bei
traditionellen Programmen der Aufwand für die Feststellung von Diskriminierung anhand von
Testdaten weniger hoch ist als der für die Code-Analyse.
Auch beim Testen von Systemen bestehen rechtliche Hindernisse. Die Durchführung eines
Tests bedarf der Möglichkeit, das zu untersuchende System zu nutzen. Dies ist häufig nicht
gegeben, wie das Beispiel des Schufa-Scorings demonstriert: Das Scoring-Programm wird
von der Schufa für Testzwecke nicht zur Verfügung gestellt. Dies ist kein Ausnahmefall,
sondern dürfte der praktische Regelfall sein.
Ein zivilrechtlicher Anspruch auf Nutzung eines Programms zu Testzwecken besteht de lege
lata nicht.
7.2.2.3 Zwischenergebnis
Zur Feststellung von Diskriminierung bei maschineller Beurteilung von Menschen können
insbesondere Code-Analysen und Tests eingesetzt werden. Beide Mittel haben aus
technischer Sicht ihre Anwendungsbereiche, auch wenn Tests aus technischer Perspektive
Vorteile haben, da sie vermutlich weniger aufwendig und zudem auch bei selbstlernenden
Systemen anwendbar sind.
7.2.3 Feststellung von Diskriminierung de lege ferenda
Zur Lösung des Problems, dass die Feststellung von Diskriminierung bei maschinellen
Beurteilungen von Menschen de lege lata schwierig ist, sind sehr unterschiedliche Wege
denkbar, die im geltenden Recht teilweise bereits beschritten wurden. Nachfolgend werden,
ohne Anspruch auf Vollständigkeit, zentrale Mittel untersucht.
7.2.3.1 Feststellung der Diskriminierung durch Indizien
Nach geltendem Recht wird bei maschinellen wie auch bei menschlichen Entscheidungen
das Vorliegen einer Diskriminierung regelmäßig anhand von Indizien ermittelt. In
Gerichtsverfahren wird meist auf den Indizienbeweis zurückgegriffen, der insoweit durchaus
leistungsfähig ist.
Ein illustratives Beispiel ergibt sich aus einem Urteil des OLG Köln aus dem Jahre 2010 in
einem Rechtsstreit zwischen einem Mietinteressenten und der
Wohnungsverwaltungsgesellschaft.290 Hier hatte die Hausmeisterin bei einer
Wohnungsbesichtigung zum Zwecke des etwaigen Abschlusses eines Mietvertrags
Folgendes gesagt: „Die Wohnung wird nicht an Neger, äh … Schwarzafrikaner und Türken
vermietet“. Diese Aussage der Hausmeisterin war ein wesentliches Indiz für das Vorliegen
einer Diskriminierung, auch wenn letztlich andere Gesichtspunkte von Bedeutung waren. Es
wurde im Prozess durch die Vernehmung einer weiteren Zeugin aber unstreitig, dass die
290
OLG Köln, Urteil v. 19.01.2009 – 24 U 51/09 –, NJW 2010, 1676.
143
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
Eigentümer der Wohnung eine Vermietung an farbige Mieter ablehnten.291 Was bei Lektüre
des Urteils deutlich wird, ist der Umstand, dass ohne diese Äußerung eine Diskriminierung
nicht hätte festgestellt werden können, da nur aufgrund der Bemerkung der Hausmeisterin
so substantiiert vorgetragen werden konnte, dass es zur Beweisaufnahme und damit zum
Bekanntwerden und Nachweis der weiteren Umstände kam.
Der Indizienbeweis kann bei maschinellen Entscheidungen jedoch wesentlich erschwert
sein, da es häufig an Kontextinformationen fehlt, aus denen sich solche Indizien ergeben
können. Wenn Informationen über den Betroffenen lediglich anhand eines Eingabeformulars
einer Website erhoben werden und diesem sodann lediglich ein Ergebnis mitgeteilt wird,
fehlt es jedoch am weiteren Kontakt, aus dem sich Indizien für eine Diskriminierung ergeben
können.
7.2.3.2 Beweislastumkehr
Ein wesentliches Mittel des Rechtsschutzes gegen Diskriminierung sind Beweisregeln, die
insbesondere für zivilrechtliche Ansprüche und im Zivilprozess von Bedeutung sind. Das
stärkste Mittel ist insoweit die Beweislastumkehr. Ein Beispiel für eine solche Regelung ist
etwa § 22 AGG, der bei Vorliegen von Indizien für eine Benachteiligung eine
Beweislastumkehr anordnet.
7.2.3.2.1 Vorschläge zur Einführung einer Beweislastumkehr
Das Mittel der Beweislastumkehr erscheint attraktiv, um die Schwierigkeit der Feststellung
einer Diskriminierung zu umgehen.
Entsprechend schlägt etwa Martini für Haftungsprozesse eine Beweislastumkehr vor, die bei
persönlichkeitssensiblen Softwareanwendungen greifen soll, wenn der Nutzer Tatsachen
vorträgt, die „mit überwiegender Wahrscheinlichkeit darauf schließen lassen, dass
unzulässige Parameter Eingang in die Entscheidung gefunden haben“.292
Ob Martini eine Beweislastumkehr im engeren Sinne oder eine Beweiserleichterung nach Art
des Anscheinsbeweises meint, bleibt letztlich offen, da im Weiteren davon gesprochen wird,
der Anbieter der Software müsse sich durch „Erschütterung einer Kausalitätsvermutung“
freizeichnen.293
7.2.3.2.2 Herausforderungen einer gesetzlichen Beweislastumkehr
Eine solche Beweislastregel, die de lege lata wohl nicht begründet werden kann, müsste
durch den Gesetzgeber eingeführt und präzisiert werden. Dabei sind folgende Aspekte von
Bedeutung:
7.2.3.2.2.1 Anwendungsbereich der Beweislastregel
Eine wesentliche Frage für eine solche Beweislastumkehr ist deren Anwendungsbereich,
konkret die Frage, ob die Regel nach dem Vorbild des AGG auf bestimmte, enumerativ zu
bezeichnende Bereiche beschränkt sein soll oder, wie es offenbar Martini vorschwebt, einen
allgemeinen Anwendungsbereich haben soll. Dabei erscheint der von Martini
291
Vgl. OLG Köln, Urteil v. 19.01.2009 – 24 U 51/09 –, NJW 2010, 1676, 1677.
292
Martini, JZ 2017, 1017 ff.
293
Martini, JZ 2017, 1017, 1024.
144
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
vorgeschlagene Bereich der „persönlichkeitssensiblen Softwareanwendungen“ zu unpräzise,
um die erforderliche Rechtsklarheit zu gewährleisten.
Die Frage nach dem angemessenen Anwendungsbereich einer solchen Regel kann im
Rahmen dieser Studie nicht geklärt werden. Es erscheint angesichts der Bedeutung einer
Beweislastumkehr jedoch geboten, insoweit eine klare Regelung zu finden.
7.2.3.2.2.2 Voraussetzungen der Beweislastumkehr
Als Voraussetzung der Beweislastumkehr wird im AGG auf die Vermutung einer
Benachteiligung aufgrund von Indizien abgestellt. Martini verweist, in der Sache wohl nicht
anders, auf die „überwiegende Wahrscheinlichkeit“ der Verwendung eines unzulässigen
Parameters. Eine konkretere Beschreibung der Voraussetzungen wird angesichts der
Vielzahl möglicher Sachverhaltskonstellationen wohl auch nicht möglich sein.
7.2.3.2.2.3 Möglichkeit des Gegenbeweises
Rechtsfolge der Beweislastumkehr ist, dass der Gegner, in der Regel die Partei, die eine
maschinelle Beurteilung verwendet, den Gegenbeweis für das Nichtvorliegen einer
Diskriminierung erbringen muss. Gegenbeweis meint insoweit den vollen Beweis, also den
Ausschluss der Diskriminierung zur vollen Überzeugung (Fehlen vernünftiger Zweifel) des
Gerichts.
Die Bedeutung der Beweislastumkehr hängt daher nicht zuletzt von der Möglichkeit eines
solchen Gegenbeweises ab.
Martini verweist insoweit auf die Vorlage protokollierter Programmabläufe.294 Damit bestehen
dieselben oder ähnliche Anforderungen, wie sie im Rahmen der Code-Analyse zur
Feststellung einer Diskriminierung existieren, lediglich mit dem umgekehrten Vorzeichen,
dem Nichtbestehen einer Diskriminierung. Daher gibt es letztlich dieselben Schwierigkeiten,
d.h. Aufwand, Undurchführbarkeit und Offenlegung. Dem Gesichtspunkt der Offenlegung tritt
Martini mit der Möglichkeit einer Offenlegung in camera, also ausschließlich gegenüber dem
Gericht, gegenüber.
7.2.3.2.3 Rechtsfolgen bei Diskriminierungsverdacht
Eine wohl eher theoretische Möglichkeit besteht darin, materielle Rechtsfolgen, etwa
Schadensersatzansprüche, bei einem bloßen Diskriminierungsverdacht greifen zu lassen, so
dass der schwierige Nachweis einer tatsächlichen Diskriminierung nicht erforderlich wäre.
Derartige Ansätze sind offensichtlich nicht überzeugend. Sie entsprechen der Sache nach
den Rechtsfolgen einer unwiderleglichen Vermutung für Diskriminierung und schneiden
sogar die Möglichkeit des Gegenbeweises ab, ohne dass hierfür eine Legitimation besteht.
7.2.3.3 Ermöglichung der Feststellung von Diskriminierung in maschinellen
Entscheidungen
Ein konzeptionell völlig anderer Weg lässt sich durch Maßnahmen beschreiten, die die
Feststellung von Diskriminierung durch maschinelle Entscheidungen ermöglichen und
gegebenenfalls gegen den Willen des Betreibers eines ADM-Verfahrens durchsetzen. Diese
Konzeption ist mit der oben (3.4.5) genannten Frage nach dem „Recht auf Analyse“
294
Martini, JZ 2017, 1017, 1024.
145
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
angesprochen. Entsprechend soll nachfolgend am Beispiel der Code-Analyse sowie des
Testens von ADM-Systemen untersucht werden, wie die Durchführung dieser Maßnahmen
rechtlich gesichert werden kann.
7.2.3.3.1 Durchsetzung einer Code-Analyse
Um die Code-Analyse zu ermöglichen, sind sehr unterschiedliche legislative Maßnahmen
denkbar, je nach dem Kontext, in dem sie relevant werden kann.
Soweit eine behördliche Aufsicht über maschinelle Entscheidungen besteht, kann der
Gesetzgeber der zuständigen Behörde Befugnisse zur Einsicht und Untersuchung der
Software gewähren. Da insoweit seitens der Behörde Verschwiegenheitspflichten bestehen,
kann der Einwand der Verletzung von Geschäftsgeheimnissen entkräftet werden. Es bleibt
freilich das Problem des Aufwandes, der mit der Code-Analyse verbunden ist.
Im Verhältnis zwischen Privaten ist die Einräumung von Einsichts- und
Untersuchungsrechten oder entsprechenden Pflichten oder Lasten auf Seiten des Betreibers
des Systems problematisch, da Geschäftsgeheimnisse offenbart werden müssen.
7.2.3.3.2 Durchsetzung von Tests maschineller Entscheidungsverfahren
Die Ermöglichung von Tests oder der Mitwirkung von Tests maschineller Entscheidungen
kann wiederum durch unterschiedliche Maßnahmen erfolgen. Diese hängen entscheidend
von der rechtlichen Einbettung des Tests ab: So sind etwa im Bereich einer behördlichen
Aufsicht Untersuchungsbefugnisse und entsprechende Mitwirkungspflichten von Bedeutung.
Dagegen stellen sich im Verhältnis zwischen Privaten Fragen nach einem Anspruch auf
Testdurchführung oder Mitwirkungspflichten.
Die rechtliche Sicherung der tatsächlichen Durchführung von Tests ist für den
Rechtsrahmen von Tests von wesentlicher Bedeutung und soll daher im Einzelnen (siehe
unten Kapitel 7.3.3.) erörtert werden.
7.3 Rechtlicher Rahmen von Testverfahren für ADM-Systeme
7.3.1 Die Bedeutung von Tests für die Kontrolle von ADM-Systemen und
algorithmischen Entscheidungen
Als ein wesentliches Ergebnis der Studie hat sich ergeben, dass Tests ein zentrales Mittel
für die Kontrolle algorithmischer Entscheidungen sind. Entsprechend sollte dieses
Instrument für die rechtliche Regulierung algorithmischer Entscheidungen fruchtbar gemacht
werden.
Aus rechtlicher Sicht stellen sich damit zahlreiche Fragen; zentral sind insbesondere
folgende Aspekte:
• Rechtliche Bedeutung (Rechtsfolgen) von Tests: Wichtig ist, welche rechtliche
Bedeutung Tests und Testergebnisse für ADM-Verwender haben, konkret welche
Rechtsfolgen sich aus der Durchführung oder auch der Nichtdurchführung von Tests
und aus Testergebnissen ableiten lassen.
146
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
• Durchsetzung der Durchführung von Tests: Ein wesentlicher Aspekt betrifft die
Durchführung von Tests im weiteren Sinne. Neben den Anforderungen an das
Testverfahren etc. (siehe unten) ist es von besonderem Interesse, ob Ansprüche
Privater oder Ermächtigungsgrundlagen von Behörden zur Durchführung von Tests
gegen den Willen des Verwenders des ADM-Systems geschaffen werden sollen,
sowie flankierende Maßnahmen und Regelungen wie Auskunftsansprüche,
Kostentragungsregeln etc.
• Anforderungen an Testverfahren: Soweit Tests Rechtsfolgen beigemessen werden
sollen, ist es von Bedeutung, welche Anforderungen an Testverfahren zu stellen
sind. Diese umfassen sowohl materielle Anforderungen an den im Test verwendeten
Prüfstandard als auch verfahrensmäßige Anforderungen an die Durchführung von
Tests.
Da das Potenzial von Tests für die Regulierung von ADM-Systemen sowie von
algorithmischen Entscheidungen entscheidend von diesen Aspekten abhängt, werden diese
nachfolgend erörtert.
7.3.2 Rechtliche Bedeutung von Tests
Die rechtliche Relevanz von Testverfahren für ADM-Systeme und Tests algorithmischer
Entscheidungen kann sich auf sehr unterschiedliche Weise ergeben. Entsprechend sind
ganz unterschiedliche Systematisierungen der rechtlichen Bedeutung möglich. Für die
Zwecke dieser Studie sollen folgende Fallgruppen unterschieden werden:
● Rechtsfolgen können bereits an die Durchführung oder Nichtdurchführung eines
Tests, meist im Zusammenhang mit einem bestimmten Testergebnis, geknüpft
werden, etwa wenn die Durchführung eines Tests (einschließlich eines positiven
Ergebnisses) eine rechtliche Voraussetzung für den Einsatz eines ADM-Systems ist.
● Rechtsfolgen können sich aus einer Tatsache ergeben, die mit einem bestimmten
Testergebnis festgestellt wird, etwa wenn sich durch einen Test feststellen lässt,
dass bei einer algorithmischen Entscheidung keine Diskriminierung vorlag.
7.3.2.1 Durchführung von Tests und Existenz von Testergebnissen
7.3.2.1.1 Durchführung von Tests im Recht
Die Durchführung oder Nichtdurchführung eines Tests, meist im Zusammenhang mit einem
bestimmten Testergebnis, kann in ganz unterschiedlicher Weise Rechtsfolgen auslösen.
Eine wesentliche Fallgruppe ist die Durchführung eines Tests zur Erfüllung eines rechtlichen
Prüfungserfordernisses. Diese Anforderungen können in unterschiedlicher Weise bestehen,
etwa als Zulassungsvoraussetzung für den Einsatz eines ADM-Systems, als von einer
Aufsichtsbehörde angeordnet oder im Rahmen einer vertraglichen Beziehung vereinbarte
Maßnahme. Ähnliches gilt, wenn durch Gesetz eine Prüfung oder Zertifizierung angeordnet
wird.
In diesen Fällen wird durch die Durchführung des Texts als solche, meist in Verbindung mit
einem positiven Testergebnis, eine rechtliche Verpflichtung erfüllt, die diese Prüfung konkret
verlangt.
147
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
Die Durchführung eines Tests kann darüber hinaus Bedeutung haben im Rahmen von
Sorgfaltspflichten, etwa im Zusammenhang mit zivilrechtlichen Haftungsansprüchen oder bei
der Verhängung von Sanktionen. Es ist beispielsweise offensichtlich, dass die Durchführung
oder Nichtdurchführung eines Tests von ADM-Systemen entscheidend für ein etwaiges
Verschulden in Bezug auf Diskriminierung oder andere Fehler algorithmischer
Entscheidungen oder den Einsatz eines fehlerhaften ADM-Systems sein kann.
Die Vorlage oder Existenz eines bestimmten Testergebnisses kann weiterhin rechtliche
Pflichten auslösen. Dies gilt insbesondere bei negativen Testergebnissen. Wenn etwa dem
Betreiber eines ADM-Systems ein Testergebnis vorgelegt oder bekannt wird, das die
Existenz eines Fehlers (z.B. Diskriminierung) nachweist oder den Verdacht auf einen Fehler
begründet, können sich aus diesem Umstand Handlungspflichten ergeben, konkret die
Pflicht zu eigenen Nachforschungen, oder etwa Meldepflichten gegenüber einer Behörde
etc.
Die Durchführung von Tests ist schließlich eng verknüpft mit der Selbstregulierung
insbesondere durch Kodizes und Zertifizierung. In beiden Fällen werden vertrauenswürdige
Verfahren der Selbstregulierung die Durchführung von Tests der ADM-Systeme vorsehen.
Das Vertrauen in die Befolgung eines Kodex oder die Vergabe eines Zertifikats beruht
typischerweise entscheidend auf der Durchführung eines geeigneten Tests durch eine
vertrauenswürdige Institution. Daher kann es sinnvoll oder gar geboten sein, das
Testverfahren rechtlich zu regeln, um dieses Vertrauen zu schützen.
Damit ergibt sich Folgendes: Die Durchführung eines Tests und das Bestehen eines
Testergebnisses können, wie die Darstellung gezeigt hat, rechtssystematisch ganz
unterschiedlich eingebettet sein: Insbesondere können sie einerseits zur Erfüllung einer
rechtlichen Pflicht dienen, andererseits aber auch rechtliche Pflichten auslösen. Darüber
hinaus können sie tatsächliche Folgen (wie Vertrauen) auslösen, die als solche
gegebenenfalls nicht Gegenstand rechtlicher Regelung sein müssen, aber gegebenenfalls in
ihrem Tatbestand, konkret dem Testverfahren, Gegenstand rechtlicher Regelung sein
können.
Diese unterschiedliche Einbettung in die Rechtsordnung ist wesentlich für die Ausgestaltung
der rechtlichen Rahmenbedingungen von Testverfahren für ADM-Systeme und
algorithmische Entscheidungen.
Damit ergeben sich Aufgaben und Handlungsoptionen für den Gesetzgeber auf mehreren
Ebenen.
7.3.2.1.2 Klärung der Rechtsfolgen von Testdurchführung und Testergebnissen
Die Durchführung, meist im Zusammenhang mit einem positiven Testergebnis, oder das
Unterlassen eines Tests kann wie dargestellt, in unterschiedlicher Weise Rechtsfolgen
auslösen. Dabei sind insbesondere die Durchführung von Tests zur Erfüllung einer
rechtlichen Verpflichtung, die Bedeutung im Zusammenhang mit einem Verschulden oder
die Beweisführung sowie Selbstregulierung von Interesse.
Soweit die Durchführung oder Nichtdurchführung eines Tests für das Verschulden von
Relevanz ist, hängt dies eng mit dem Bestehen einer rechtlichen Pflicht zusammen, da
zumindest bei Missachtung einer rechtlichen Pflicht zur Durchführung regelmäßig auch ein
Verschulden in Form der Verletzung einer Sorgfaltspflicht vorliegt. Daher konzentrieren sich
die nachfolgenden Überlegungen auf den Aspekt der Erfüllung einer rechtlichen Pflicht.
148
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
7.3.2.1.3 Fehlen klarer gesetzlicher Pflichten zum Testen von ADM-Systemen
Rechtliche Pflichten zur Durchführung eines Tests von ADM-Systemen können sich in allen
Rechtsgebieten, insbesondere aus zivilrechtlichen Sorgfaltsanforderungen sowie aus
öffentlich-rechtlichen Pflichten, ergeben. Sie können auf expliziter gesetzlicher Anordnung
beruhen oder sich aus allgemeinen Grundsätzen, vor allem aus Generalklauseln zur
Sorgfalt, ableiten lassen.
Nach derzeitiger Rechtslage bestehen soweit erkennbar keine bzw. allenfalls punktuell
ausdrückliche Regeln zu Tests. Auch § 28b BDSG a.F. und § 31 BDSG n.F. enthalten eine
solche Pflicht nicht ausdrücklich.
Rechtliche Pflichten zum Testen von ADM-Systemen bestehen daher nach derzeitiger
Rechtslage nur, soweit sie sich aus allgemeinen Normen ableiten lassen. Dies dürfte in
vielen Fällen durchaus möglich sein. Ob sich aus § 31 BDSG n.F. eine solche Pflicht
ableiten lässt, ist fraglich.
Es dürfte sich aber aus § 823 BGB eine Pflicht zur Durchführung von Tests eines ADM-
Systems vor Inbetriebnahme des Systems ableiten lassen, soweit etwa eine
Persönlichkeitsrechtsverletzung durch ein fehlerhaftes ADM-System droht.
Der Anwendungsbereich und der konkrete Inhalt einer solchen aus der Generalklausel des
Deliktsrechts ableitbaren Pflicht sind jedoch derzeit nicht absehbar. So ist schon unklar, ob
sie sich auf den Hersteller oder den Nutzer eines solchen Systems (oder beide) bezieht. Vor
allem ist nicht absehbar, in welchen Fällen ein solches ADM-System, für das eine Testpflicht
gilt, vorliegt. Im Fall eines ADM-Systems zur Unterstützung der Personalauswahl ist schon
unklar, in welchen Fällen ein Fehler zu einer Persönlichkeitsrechtsverletzung führt.
Insbesondere sind die Anforderungen an den Inhalt des Testverfahrens derzeit nicht geklärt.
Diese Unklarheit ist für eine breite Durchsetzung der Tests von ADM-Systemen hinderlich.
Es ist davon auszugehen, dass sich aus der Praxis, speziell der Rechtsprechung, in Zukunft
eine Klärung in Bezug auf das Bestehen der Testpflicht ergibt.
Jedoch sollte der Gesetzgeber insoweit nicht abwarten, da der Klärungsprozess durch die
Rechtsprechung etliche Jahre in Anspruch nehmen kann. Vielmehr sollte der Gesetzgeber
aktiv werden.
7.3.2.1.4 Forschungsbedarf
Zu klären ist im Besonderen das Gefahrenpotenzial von ADM-Systemen, etwa für
Persönlichkeitsrechte der betroffenen Personen, das in dieser Studie nur angerissen werden
konnte. Dabei wird sich voraussichtlich zeigen, dass jedenfalls in einigen Bereichen
erhebliche Nachteile drohen.
Zu klären ist auch die Verfügbarkeit und Leistungsfähigkeit von Testverfahren zu ADM-
Systemen und algorithmischen Entscheidungen.
7.3.2.1.5 Einführung gesetzlicher Prüfpflichten
Auf der Grundlage der Forschung ist zu entscheiden, ob und in welchen Bereichen
gesetzliche Prüfpflichten für ADM-Systeme und algorithmische Entscheidungen gesetzlich
geregelt werden sollten.
149
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
Anhand der Ergebnisse der Studie lassen sich folgende Prognosen wagen:
1. Eine Pflicht zur manuellen Überprüfung einer einzelnen algorithmischen Entscheidung ist
nur in engen Teilbereichen sinnvoll. Ob über Art. 22 DSGVO hinaus eine Regelung geboten
oder möglich ist, ist derzeit nicht abzusehen.
2. Eine Pflicht zur Durchführung von Tests von ADM-Systemen vor deren Einsatz sowie
begleitend zu deren Einsatz als Teil der laufenden Überwachung wird in vielen Bereichen
geboten sein. Dies wird stets der Fall sein, soweit ADM-Systeme in für den Betroffenen
wesentlichen Bereichen eingesetzt werden. Die Personalauswahl gehört hierzu ebenso wie
Versicherungstarife, namentlich im Bereich der Krankenversicherung.
Soweit geeignete Testverfahren allgemein verfügbar sind, wird die Durchführung eines Tests
zumutbar sein. Damit die Voraussetzungen einer Pflicht, die sich aus Generalklauseln
ableiten ließe, vorliegen, sollte die Pflicht zur Vermeidung von Rechtsunklarheit und
Rechtsunsicherheit ausdrücklich geregelt werden (dazu unten Kapitel 8.3.3.2).
7.3.2.2 Testergebnis und Schluss auf rechtserhebliche Tatsachen
7.3.2.2.1 Fallgruppen
Eine weitere wesentliche Fallgruppe der rechtlichen Bedeutung von Tests ergibt sich durch
die Möglichkeit, von einem Testergebnis auf das Vorliegen einer rechtlich erheblichen
Tatsache zu schließen.
Wenn sich beispielsweise aufgrund eines Tests einer konkreten algorithmischen
Entscheidung ergibt, dass bei der konkreten Entscheidung eine Diskriminierung vorlag, kann
unter Umständen das Testergebnis dazu führen, dass rechtlich von der Existenz einer
Diskriminierung auszugehen ist.
Der damit angesprochene Schluss von der Existenz eines Testergebnisses auf die Existenz
einer rechtlich erheblichen Tatsache ist in sehr unterschiedlichen rechtlichen Konstellationen
relevant und wirft zahlreiche Fragen in verschiedenen Rechtsgebieten auf. So hat dieser
Schluss etwa für den Betreiber eines ADM-Systems, den Betroffenen, eine
Aufsichtsbehörde oder ein Gericht Bedeutung. Insbesondere stellt sich die Frage, unter
welchen Voraussetzungen der Schluss gezogen werden kann oder gezogen werden muss,
wann also der Test zweifelsfrei auf diese Tatsache weist. Gleichzeitig ist relevant, welche
Bedeutung ein Verdacht oder das Naheliegen der Tatsache unterhalb der Schwelle voller
Überzeugung für die Existenz der jeweiligen Tatsache hat.
Diese überaus komplexe Fragestellung kann im Rahmen dieser Studie nicht untersucht
werden. Da dieser Schluss aber für weitere Fragestellungen der Untersuchung, etwa
legislative Maßnahmen, von entscheidender Bedeutung ist, sollen zur Vereinfachung zwei
Annahmen getroffen werden:
1. Annahme: Es wird zahlreiche Sachverhalte geben, in denen aufgrund eines
Testergebnisses über eine algorithmische Entscheidung ein Entscheidungsträger, etwa ein
Gericht, zu der vollen Überzeugung gelangt, dass die Entscheidung an einem rechtlich
relevanten Fehler leidet, etwa eine (rechtlich relevante) Diskriminierung enthält.
2. Annahme: Es wird zahlreiche Sachverhalte geben, in denen es aufgrund eines
Testergebnisses über eine algorithmische Entscheidung aus Sicht des
Entscheidungsträgers naheliegt, dass die Entscheidung an einem rechtlich relevanten
150
