gi-studie-algorithmenregulierung
Dieses Dokument ist Teil der Anfrage „Gutachten des Sachverständigenrats für Verbraucherfragen“
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
Programmierschnittstelle kann mit automatischen Skripten abgefragt werden. Diese Skripte
können eine große Anzahl an Abfragen machen und möglicherweise noch weitere
Informationen, wie etwa Konfidenz einer Entscheidung, Alternativen und Erklärungen (z.B.
Gewichte einzelner Attribute) erhalten. Die Programmierschnittstelle kann möglicherweise
noch mehr Informationen anbieten, als normale Endverbraucher bekommen.
Sock Puppet Audit: Beim Sock Puppet Audit werden fiktive Benutzer simuliert (ähnlich dem
Scraping Audit), in der Regel durch andere Computerprogramme, die sich dem
Kreditscoringsystem gegenüber als Benutzer bzw. Personen ausgeben, als würden sie das
System normal benutzen wollen. Hierbei werden unterschiedliche Parameter, z.B. Herkunft,
Kaufverhalten oder Browserverlauf, geändert, sodass eine umfangreiche Aussage über das
Entscheidungsverhalten des ADM-Systems getroffen werden kann.
Crowdsourced Audit: Analog zum Sock Puppet Audit werden die Daten von
unterschiedlichen Benutzern eines Systems (z.B. Schufa) ausgewertet und analysiert. Im
Gegensatz zu Sock Puppets willigt eine Gruppe, die Crowd, in die Bereitstellung der eigenen
Daten und des Ergebnisses des ADM-Systems in ein Drittsystem ein. In diesem Drittsystem
werden die Daten konsolidiert und über die große Datenmenge ausgewertet.
4.4.4.7 Zwischenfazit
Audits sind eine geeignete Maßnahme, um die Qualität von ADM-Systemen zu überprüfen
und mögliches Fehlverhalten zu identifizieren. Audits und Testen überlagern sich in
mehreren Aspekten sehr stark und ergänzen sich in diversen Bereichen. Für das Auditieren
von ADM-Systemen kann Folgendes festgehalten werden:
● Es gibt mehrere Arten, ein ADM-System zu auditieren.
● Die Audits reichen bis zur vollständigen Offenlegung des Codes sowie aller
Dokumente und Zwischenschritte, die erfolgt sind, bis das ADM-System zum Einsatz
gelangt.
● Die vollständige Transparenz steht möglicherweise mit den Geschäftszielen und
Geschäftsgeheimnissen im Konflikt.
● Auditierung kann auch eine strukturierte Abfrage des ADM-Systems beinhalten;
hierbei wird sie dem Testen (siehe Kapitel 4.4.3) sehr ähnlich. Dabei muss nicht
notwendigerweise der Code offengelegt werden, sondern das System wird als eine
Blackbox beschrieben. Auch hier sind Rückschlüsse auf möglicherweise vertrauliche
Entscheidungsstrukturen des ADM-Systems möglich.
● Betrachtet man Testverfahren als Kontrollmechanismen für ADM-Systeme, so zeigt
sich, dass das Scraping Audit und das Sock Puppet Audit in weiten Teilen dem
Testen entsprechen. Die Verfahren nähern sich an und lassen sich kaum mehr
voneinander abgrenzen, was für die Verwendung als Kontrollmechanismus auch
nicht notwendig ist.
● Auditierung bedarf einer technischen Expertise sowie der fachlichen, juristischen
Expertise, um die Ergebnisse entsprechend aufbereiten und interpretieren zu
können.
4.4.5 Auditing von archivierten ADM-Systemen
Da es sich bei ADM-Systemen auch um Softwaresysteme handelt, unterliegen sie in der
Regel einer ständigen und fortlaufenden Änderung und Anpassung. ADM-Systeme werden
weiterentwickelt und weisen möglicherweise ein neues Entscheidungsverhalten auf. Um
eine rückwirkende Kontrolle zu ermöglichen, ist es notwendig die Entscheidungsmodelle zu
70
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
archivieren und bei Bedarf wieder einspielen zu können. Eingespielte Modelle aus den
Archiven sind der Analyse, dem Audit sowie dem Testing wie oben beschrieben zugänglich.
Das Archivieren von trainierten Modellen ist unter Umständen ressourcenintensiv
(insbesondere Speicherplatz), technisch jedoch machbar. Speziell die Verwendung von
Software zur Versionskontrolle ist hier geeignet. Die Speicherung von trainierten Modellen
erscheint für die Nachvollziehbarkeit und Rekonstruierbarkeit von Entscheidungen sinnvoller
als die Speicherung von großen Trainingsdatenbeständen etc. Bei selbstlernenden ADM-
Systemen, die ihr Verhalten während des Betriebs weiterentwickeln, reicht es jedoch nicht,
die Entscheidungsmodelle „von Zeit zu Zeit“ zu archivieren. Hier bliebe die Möglichkeit,
einen „Snapshot“ vor jeder Entscheidung zu archivieren, was in der Praxis nicht realisierbar
ist, oder die jeden zum Training verwendeten Datensatz zu speichern. Beide Möglichkeiten
sind für die Praxis vermutlich unbefriedigend und – wenn überhaupt – nur durch sehr hohen
Aufwand durchführbar.
4.5 Fazit
Im vorliegenden Kapitel haben wir die Grundkonzepte des Maschinellen Lernens sowie die
logistische Regression als Beispiel eines praktisch relevanten und einfach prüfbaren
statistischen Klassifikationsmodells dargestellt. Aus den Grundlagen des Maschinellen
Lernens ergeben sich auch unmittelbar die praktischen Probleme, die unter anderem in
Diskriminierung münden können: Unausgewogenheiten in den Daten können sich im
Trainingsprozess niederschlagen. Die Nichtverwendung von geschützten Attributen
(aufgrund derer eine Diskriminierung also nicht zulässig ist) ist keine universelle Lösung, da
einerseits die Gruppenzugehörigkeit mittels Proxyvariablen für das Modell erkennbar bleiben
kann und andererseits die Genauigkeit des trainierten Modells reduziert werden kann. Somit
ergibt sich ein potenzieller Konflikt zwischen dem Anspruch der Richtigkeit der Entscheidung
(Gefährdungsszenario 1) und dem Ziel der Nichtdiskriminierung durch ADM
(Gefährdungsszenario 2).
Quantitative Begriffe der Gleichbehandlung bieten die Möglichkeit, das Vorhersageverhalten
eines trainierten Modells genau zu untersuchen. Obgleich sie als direktes
Regulierungsinstrument gegenwärtig nur bedingt geeignet sind, bilden sie potenziell
nützliche Werkzeuge für die Gestaltung von Auditprozessen und bieten vielerlei
Perspektiven für weitere interdisziplinäre Forschung in diesem Bereich. Die automatische
Berücksichtigung solcher Metriken beim Erstellen von Modellen ist Gegenstand aktueller
Forschung und eignet sich unserer Einschätzung nach noch nicht dazu regulativ aufgegriffen
zu werden.
Es existiert eine Vielzahl von ML-Modellen verschiedener Komplexität mit verschiedenen
Lernkapazitäten und Graden der Erklärbarkeit. Wenn nachvollziehbare Verfahren verwendet
werden (wie z.B. die in der Praxis verbreitete logistische Regression), ist eine direkte
Kontrolle des Modells prinzipiell möglich. Je nach Problem und Daten können diese jedoch
komplexeren, weniger transparenten Modellen in Genauigkeit und Kapazität unterlegen sein.
Komplexere Modelle erfordern entsprechend geeignete Prüfungskriterien. Es gilt daher die
verschiedenen technischen Möglichkeiten der Modellinterpretation und -prüfung durch
Testdaten im Rahmen von Test- und Auditprozessen sachgerecht mit den rechtlichen
Anforderungen zu verknüpfen (siehe dazu die Diskussion in Kapitel 5.4.3).
71
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
Die Analyse eines konkreten ADM-Systems muss notwendigerweise in mehrere Ebenen
unterteilt werden:
1. Analyse des Gesamtprozesses zur (Weiter-)Entwicklung eines ADM-Systems
2. Analyse des trainierten Modells
3. Analyse der Entscheidung auf Instanzebene
Diese Differenzierung ermöglicht einen holistischen Blick auf die komplexen Vorgänge und
Abläufe, die bei ADM ineinandergreifen. Auf Basis dieses Verständnisses können auch
unterschiedliche Maßnahmen identifiziert werden, die die Transparenz von ADM erhöhen
und die Grundlage für den Nachweis von Fairness und Diskriminierung darstellen. Es zeigt
sich, dass es nicht ausreicht, auf eine Ebene alleine abzustellen, um Entscheidungen
nachvollziehen zu können bzw. um mögliche Ursachen für zu hinterfragende
Entscheidungen zu erkennen und nachzuweisen. So können z.B. Biases in erhobenen
Daten, wie oben bereits erwähnt wurde, zu Entscheidungen auf der Instanzebene führen,
die diskriminierend sind. Von einem mathematisch-rationalen Standpunkt aus betrachtet ist
dieses Verhalten eines maschinell trainierten Verfahrens durchaus nachvollziehbar und der
Effekt, der sich auf der Instanzebene beobachten lässt, hat seine Ursache in einem der
ersten Schritte innerhalb des Prozesses. Vermeidungsstrategien müssen daher dort bereits
ansetzen, um effektiv und zielführend zu sein. In einer Arbeit von 2016 bringen Goodman
und Flexman diesen Umstand auf den Punkt: „machine learning depends upon data that has
been collected from society, and to the extent that society contains inequality, exclusion or
other traces of discrimination, so too will the data.“99
Als Ergänzung zur Analyse des Gesamtprozesses und der darin vollzogenen Teilschritte
haben wir im vorliegenden Kapitel zwei weitere Methoden diskutiert: Auditierung und Testen.
Das Auditieren ist grundsätzlich geeignet, um die Transparenz der Entscheidungsstrukturen,
die einem ADM-System zugrunde liegen, zu erhöhen. Es existieren jedoch unterschiedliche
Auditierungsmethoden, die jeweils Vor- und Nachteile haben. Das klassische Code-Audit
erfordert die Offenlegung des gesamten Softwareprogramms, sodass es für IT-Experten
möglich ist, das System zur Gänze zu analysieren und zu erfassen. Je nach verwendetem
maschinellem Lernverfahren können relevante Attribute sofort erkannt und Aussagen über
eine mögliche problematische Diskriminierung getroffen werden. Dies gilt vor allem für
Lernverfahren, die auf deduktiven und regelbasierten Methoden beruhen, z.B.
Entscheidungsbäume. Für komplexere Lernverfahren, wie etwa neuronale Netze, kann die
Code-Einsicht dennoch sehr erhellend sein, obwohl sich das trainierte Modell einer
Interpretation durch den Menschen entzieht. An dieser Grenze können dann Testverfahren
aufschlussreich sein. Diese können sehr effizient und schnell durchgeführt werden, sofern
die Testfälle definiert sind. Allerdings ist die Definition von Testfällen stark von der jeweiligen
Anwendung abhängig und in manchen Fällen nicht ohne weiteres möglich. So kann
beispielsweise die Bonität von fiktiven Personen in Testdaten nicht geschätzt werden. Als
mögliche Lösung kann der Einsatz von Metamorphic Testing dienen. Dabei wird nicht mehr
das konkrete Ergebnis einer Klassifizierung betrachtet, sondern die Veränderung und das
Verhältnis zwischen zwei Bewertungen. Es wird also geprüft, ob ein sensibles Attribut, z.B.
Geschlecht oder Alter, einen signifikanten Unterschied in der Bewertung der Bonität macht
oder nicht. Wir haben dieses Vorgehen anhand konkreter Fallbeispiele illustriert.
99
Goodman/Flaxman, 2017.
72
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
Die hier angestellten Überlegungen bieten die technische Grundlage und einen Überblick
über die Komplexität der Herausforderung, die sich bei der Interpretation und Erklärbarkeit
von ADM ergibt. Sie zeigen Möglichkeiten auf, um sich der Thematik strukturiert zu nähern
und für die Diskriminierung relevante Fragestellungen zu differenzieren. Sie spielen daher
auch als Grundlage für die im nächsten Kapitel folgende juristische Betrachtung eine
wichtige Rolle
73
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
5 Algorithmische Entscheidungen aus rechtlicher
Sicht
5.1 Rechtsfragen algorithmischer Beurteilung von Personen
5.1.1 Stand der Diskussion und Problemlagen
5.1.1.1 Algorithmische Beurteilung von Personen in der juristischen Diskussion
Die Diskussion der spezifischen Rechtsfragen algorithmischer Entscheidungen hat erst
jüngst begonnen. Umfassende Untersuchungen und Kategorisierungen der Problemlagen
algorithmischer Entscheidungen aus rechtlicher Sicht liegen, soweit erkennbar, für das
deutsche Recht nicht vor, was angesichts der Vielfalt der Fragestellungen und der Dynamik
der Entwicklung verständlich ist. In der bereits genannten Untersuchung von Martini werden
als Risiken die „Monopolisierung von Markt- und Meinungsmacht“, „Intransparenz“ und
„Diskriminierung“ genannt, aber ersichtlich nicht als systematische oder gar abschließende
Problemanalyse verstanden.100 Auch in anderen Rechtsordnungen werden eher einzelne
Probleme beschrieben (dazu unten Kapitel 6). Vielfach werden in der juristischen Diskussion
dieselben oder ähnliche Themen genannt. So wird auf die Rolle von Facebook im US-
Wahlkampf verwiesen, die Bedeutung des Wohnorts für Kreditentscheidungen oder die
Relevanz des Vornamens in automatisierten Bewerbungsverfahren. Häufig wird auch auf die
in den USA eingesetzte Software zur Ermittlung der Rückfallwahrscheinlichkeit von
Straftätern abgestellt. Ein umfassender Befund oder gar eine einheitliche
Problembeschreibung besteht auch in der internationalen Perspektive nicht.
Eine intensive rechtliche Auseinandersetzung mit den Herausforderungen der Beurteilung
von Personen durch Maschinen existiert bisher nicht. Auch fehlt es an einer systematischen
Beschreibung deren spezifischen rechtlichen Probleme.
Als eine spezifische Problemlage des Einsatzes algorithmischer Entscheidungen kann wohl
die Steigerung des Ausmaßes der Beurteilung von Menschen identifiziert werden. Dies gilt
sowohl hinsichtlich der Intensität als auch des Umfang von Beurteilungen.
5.1.1.2 Beurteilung von Menschen in neuen Bereichen
So lässt sich beobachten, dass mit der Nutzung algorithmischer Entscheidung eine
Beurteilung in Bereichen eintritt, in denen sie bisher nicht vorgenommen wurde. So werden
Güter des Alltags im Massengeschäft traditionell ohne Beurteilung des Käufers verkauft. Im
Supermarkt steht die Ware für jeden Käufer mit gleichen Merkmalen gleichermaßen zur
Verfügung.
Dies ändert sich etwa durch dynamic pricing, soweit der Preis einer Ware abhängig von der
Einschätzung einer Person, etwa deren Zahlungsbereitschaft, festgelegt wird. Individuelle
Preise als solches sind nichts Neues und das Wesensmerkmal aller Märkte, in denen der
Preis durch individuelle Verhandlung festgelegt wird. Es ist aber ein neues Phänomen, wenn
100
Vgl. Martini 2017.
74
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
die individuelle Preisfindung in den Prozess von Massengeschäften ohne expliziten
Verhandlungsprozess übertragen wird.101 Grund dieser Entwicklung ist offenbar die
Absenkung der Transaktionskosten durch den Einsatz von Maschinen auf Seiten des
Anbieters der Ware, die die individuelle Bepreisung für den Verkäufer wirtschaftlich lohnend
macht.
5.1.1.3 Gesteigerte Intensität und einseitige Steuerung der Beurteilung
Die Möglichkeiten algorithmischer Entscheidungen können auch zu einer gesteigerten
Intensität der Beurteilung führen. So können in eine algorithmische Beurteilung von
Personen unter Umständen sehr viel mehr Informationen einfließen, als sie etwa einem
menschlichen Entscheider zur Verfügung stehen. So hat ein menschlicher Verkäufer etwa
im Massengeschäft meist nur wenig Informationen über einen Kaufinteressenten. Dies kann
bei maschinellen Entscheidungen, wenn auf umfassende Datenbestände zugegriffen
werden kann, entscheidend anders sein. Auch bei einer Personalauswahl können bei
algorithmischen Entscheidungen unter Umständen weit mehr Informationen herangezogen
werden, als es bei menschlichen Sachbearbeitern der Fall wäre.
Ein Problem der Beurteilung durch Algorithmen kann sich auch durch die Verengung der
Beurteilungsgrundlage, verbunden mit der einseitigen Steuerung der Beurteilung, ergeben.
ADM-Systeme machen Vorhersagen auf der Basis der zur Verfügung stehenden Daten und
nur dieser Daten. Während der Verbraucher bei unmittelbarer Kommunikation mit einem
menschlichen Beurteiler typischerweise initiativ werden kann, wird ihm diese Dimension der
Verhandelbarkeit beim Einsatz von ADM-Systemen entzogen. Vielmehr wird es zur Aufgabe
des Kunden, sich ADM-konform zu verhalten. Ein eindrucksvolles Beispiel hierfür ist die vor
allem in den USA bekannte Kreditscore-Optimierung, bei der spezialisierte Berater durch
gezielte Maßnahmen, z.B. die Umschichtung von Schulden, die errechnete Kreditwürdigkeit
erhöhen.
5.1.1.4 Zwischenergebnis
Die hier vermuteten spezifischen Problemlagen, die Ausweitung der Beurteilung von
Personen sowohl im Anwendungsbereich als auch in der Intensität durch ADM-Systeme,
werden insbesondere rechtlich relevant, wenn die Beurteilung fehlerhaft ist oder wenn durch
die Beurteilung Ungleichgewichte entstehen.
Diese Studie nimmt daher vor allem die Probleme fehlerhafter Beurteilungen von Personen
in den Blick. Außerdem werden etwaige Ungleichgewichtslagen durch Einsatz von ADM,
insbesondere im Verhältnis zwischen Unternehmern und Verbrauchern, untersucht.
5.1.2 Ungleichgewicht zwischen Verbraucher und Unternehmer durch
algorithmische Entscheidungen
5.1.2.1 Verdacht auf problematische Ungleichgewichtslagen
Algorithmische Entscheidungen werden häufig im Verhältnis zwischen Unternehmern und
Verbrauchern, und regelmäßig ausschließlich durch den Unternehmer, eingesetzt. Dies löst
den Verdacht auf Entstehung oder Vertiefung einer Ungleichgewichtslage zwischen
101
Auf Probleme durch dynamic pricing weist etwa die BaFin in ihrer Studie „Big Data trifft auf
künstliche Intelligenz“, Ziff. 6.2.3.1 (S. 182) hin.
75
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
Unternehmer und Verbraucher aus.102 Insbesondere liegt es nahe, dass eine
Informationsasymmetrie zu Lasten des Verbrauchers entsteht oder erweitert wird.
Ein anderer Aspekt betrifft die Ausnutzung eines individuellen Bedürfnisses des
Verbrauchers an einer Leistung durch den Unternehmer. Dieser Aspekt ist eng mit dem
Problem der Informationsasymmetrie verknüpft, aber nicht damit identisch. So kann
beispielsweise der Unternehmer dem Verbraucher aufgrund Kenntnis dessen zwingenden
Bedürfnisses an der nachgefragten Leistung einen individuellen – höheren – Preis festlegen,
ohne dass der Verbraucher – selbst bei vollständiger Aufklärung – diesem Verhalten
entgehen kann.
Ein einfaches Beispiel: Wenn der Betreiber eines Fußballstadions weiß, dass ein Fußballfan
ein bestimmtes Spiel unbedingt im Stadion sehen möchte, und deswegen den Ticketpreis für
diesen Fan entsprechend anhebt, nützt dem Fußballfan etwaiges Wissen darüber, dass ihm
aufgrund seiner konkreten Bedürfnislage ein erhöhter Preis angeboten wird, nichts.
Dasselbe gilt bei der Buchung einer Flugreise.
In derartigen Situationen sind Fragen der Gleichbehandlung von Bedeutung (siehe dazu
Kapitel 5.1.2.3).
5.1.2.2 Informationsasymmetrie
Algorithmische Beurteilungen von Menschen sind eng mit Problem der
Informationsasymmetrie verknüpft. Informationsasymmetrien im weiteren Sinne als
unterschiedliches Wissen zwischen Partnern in rechtsgeschäftlichen oder sozialen
Beziehungen können problematisch sein, sind zugleich aber notwendige Grundlage einer
arbeitsteiligen Gesellschaft. Entsprechend differenziert werden Informationsasymmetrien
rechtlich adressiert, insbesondere durch punktuelle Informations- und Aufklärungspflichten
oder gar weitergehende Treuepflichten in Vertragsverhältnissen (Arzt, Rechtsanwalt).
Beim Einsatz von ADM-Systemen können Informationsasymmetrien im Verhältnis von
Unternehmern und Verbrauchern aus rechtlicher Sicht von unterschiedlicher Bedeutung
sein. So kann der Unternehmer aufgrund der algorithmischen Beurteilung mehr
Informationen über den Verbraucher und dessen Interesse an der Leistung haben als
umgekehrt der Verbraucher über die Leistung des Unternehmers und Alternativen. Damit
eng verbunden ist der Aspekt, dass es dem Verbraucher an Kenntnis darüber fehlen kann,
was der Unternehmer über ihn und seine Verhältnisse weiß.
Diese Aspekte sind aus rechtlicher Sicht unterschiedlich zu bewerten, etwaige rechtliche
Gegenmaßnahmen können durchaus andersartig sein: So ist etwa die Unkenntnis des
Verbrauchers über die Merkmale der angebotenen Leistung und Alternativen durch
entsprechende Information über die Leistung des Unternehmers und die Möglichkeit zum
Vergleich zu beheben. Die Erteilung dieser Information kann rechtlich etwa durch
produktbezogene Informations- und Aufklärungspflichten gesichert werden, wie sie im
klassischen Verbraucherschutzrecht üblich sind. Dagegen entspricht das Interesse des
Verbrauchers an der Kenntnis der über ihn verwendeten Informationen klassischen
datenschutzrechtlichen Anliegen, die im Hinblick auf Verbraucherschutz gegenüber ADM zu
analysieren und gegebenenfalls fortzuentwickeln sind.
102
Martini (2017) verweist insoweit auf eine „Markt-Macht-Spirale“, ohne diese allerdings näher zu
spezifizieren.
76
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
Informationsasymmetrien im Verhältnis zwischen Unternehmen und Verbrauchern sind
Gegenstand intensiver Forschung verschiedener Disziplinen und Gegenstand von
Gesetzgebung. Ob und inwieweit algorithmische Entscheidungen typische Problemlagen der
Informationsasymmetrie betreffen, bedarf weiterer Forschung, insbesondere der Vernetzung
mit der allgemeinen Forschung zu Informationsasymmetrie im Verhältnis zwischen
Unternehmern und Verbrauchern, die im Rahmen dieser Studie nicht erfolgen kann. Die
Studie beschränkt sich daher auf Aspekte, die unmittelbar mit ADM verbunden sind, etwa
die Reichweite von datenschutzrechtlichen Informationspflichten und Auskunftsansprüchen
im Kontext von ADM.
5.1.2.3 Gleichbehandlung und algorithmische Entscheidungen
5.1.2.3.1 Gleichbehandlung als Fragestellung algorithmischer Entscheidungen
Algorithmische Entscheidungen stellen das Recht nicht zuletzt unter dem Aspekt der
Gleichbehandlung vor Herausforderungen. So wirft etwa das dynamic pricing die Frage auf,
ob und in welchem Umfang die Gleichbehandlung in Bezug auf Preise rechtlich geboten ist
oder sein soll. Der Vertragsfreiheit sind bei der Preisbildung insoweit nur eingeschränkt
Grenzen gesetzt, zivilrechtlich etwa durch § 138 BGB, vor allem aber durch das Kartellrecht.
Ob der Einsatz von dynamic pricing eine Gefahr für den Wettbewerb ist, die durch das
Kartellrecht erfasst werden kann, wird derzeit zwar durchaus untersucht. Es ist aber noch
völlig offen, wie weit die Einschränkungen aus kartellrechtlicher Sicht reichen.
Ähnliche Fragen stellen sich bei der automatisierten Personalauswahl. Zwar greifen insoweit
Diskriminierungsverbote ganz unterschiedlicher Art und Rechtsgrundlagen. Davon
abgesehen sieht das Recht keine umfassende Einschränkung ungleicher oder gar
„ungerechter“ Personalauswahl vor.
Es ist zu vermuten, dass der Gegensatz zwischen dem in der Vertragsfreiheit zum Ausdruck
kommenden grundrechtlich geschützten Gestaltungsfreiheit und dem Schutz Betroffener in
Ungleichgewichtslagen nicht durch einen allgemeinen, übergreifenden Grundsatz zu lösen
sein wird, sondern den Spezifika der jeweiligen Interessenlagen folgend in den jeweiligen
Einsatzbereichen algorithmischer Entscheidungen spezifisch auszugleichen ist.
5.1.2.3.2 Gleichbehandlungsgrundsatz und individuelle Beurteilung
Eine allgemeine Frage, die sich bei zahlreichen Formen algorithmischer Entscheidungen
stellt, ist, inwieweit die Verwendung von Information sowie die algorithmische Beurteilung in
Alltagssituationen gerechtfertigt sind und in welchem Maße ein Anspruch auf
Gleichbehandlung existiert.
Auf verfassungsrechtlicher Ebene besteht ein Grundrecht auf Gleichbehandlung nach Art. 3
GG des Einzelnen gegenüber dem Staat. Im Verhältnis zwischen Privaten wirkt der
Gleichbehandlungsgrundsatz indes nicht unmittelbar, kann aber mittelbar einwirken. Auf der
Ebene des Zivilrechts findet der Gleichbehandlungsgrundsatz, soweit nicht spezifisch
geregelt, durch allgemeine Grundsätze des Vertragsrechts, insbesondere des § 242 BGB
(Treu und Glauben), Berücksichtigung. Aus diesen Grundsätzen folgt etwa, dass ein
willkürlicher Ausschluss eines Vertragspartners von einer Leistung unzulässig sein kann.
Die Reichweite des Gleichbehandlungsgebots in modernen Formen der
Leistungsdistribution ist freilich noch nicht geklärt. Insoweit besteht erheblicher
Forschungsbedarf.
77
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
5.1.2.3.3 Recht auf Gleichbehandlung bei struktureller Überlegenheit?
Für die Frage nach der Bedeutung des Gleichbehandlungsgrundsatzes für algorithmische
Entscheidungen lassen sich möglicherweise Erkenntnisse aus der Bedeutung des
Gleichbehandlungsgrundsatzes in Massengeschäften ziehen.
Insoweit ist ein aktueller Beschluss des Bundesverfassungsgerichts von Interesse, der die
Bedeutung des Gleichbehandlungsgrundsatzes für die Verhängung eines Stadionverbots
zum Gegenstand hatte.103 Ausgangspunkt war die Verfassungsbeschwerde eines
Fußballfans gegen ein zivilrechtliches Urteil, das das gegen ihn verhängte Stadionverbot
bestätigte.104
Das BVerfG weist in dem Beschluss auf die allgemeinen Grundsätze des
Gleichbehandlungsgrundsatzes hin, insbesondere auf den Umstand, dass Art. 3 GG kein
Gleichbehandlungsgebot für die Rechtsbeziehungen zwischen Privaten enthält und sich ein
solches auch nicht aus den Grundsätzen der mittelbaren Drittwirkung von Grundrechten
ergibt. Es fasst dies wie folgt zusammen: „Ein allgemeiner Grundsatz, wonach private
Vertragsbeziehungen jeweils den Rechtfertigungsanforderungen des
Gleichbehandlungsgebots unterlägen, folgt demgegenüber aus Art. 3 Abs. 1 GG auch im
Wege der mittelbaren Drittwirkung nicht.“105
Grundrechtliche Anforderungen bestehen aber, wie das BVerfG im Anschluss daran betont,
in bestimmten Situationen.106 Sodann entwickelt das BVerfG den folgenden Grundsatz:
„Maßgeblich für die mittelbare Drittwirkung des Gleichbehandlungsgebots ist dessen
Charakter als einseitiger, auf das Hausrecht gestützter Ausschluss von Veranstaltungen,
die aufgrund eigener Entscheidung der Veranstalter einem großen Publikum ohne
Ansehen der Person geöffnet werden und der für die Betroffenen in erheblichem Umfang
über die Teilnahme am gesellschaftlichen Leben entscheidet. Indem ein Privater eine solche
Veranstaltung ins Werk setzt, erwächst ihm von Verfassungswegen auch eine besondere
rechtliche Verantwortung. Er darf seine hier aus dem Hausrecht – so wie in anderen Fällen
möglicherweise aus einem Monopol oder aus struktureller Überlegenheit – resultierende
Entscheidungsmacht nicht dazu nutzen, bestimmte Personen ohne sachlichen Grund von
einem solchen Ereignis auszuschließen.“107
In der Folge misst das BVerfG die angegriffene Entscheidung des BGH an diesem
Grundsatz und weist die Verfassungsbeschwerde schließlich ab.108
Diese Überlegungen des BVerfG sind für die rechtliche Erfassung der strukturellen
Überlegenheit in algorithmischen Entscheidungen von großem Interesse. Zunächst bestätigt
das BVerfG, dass ein Recht auf Gleichbehandlung zwischen Privaten nur in bestimmten
Konstellationen besteht. Grundlage für ein Eingreifen des Gleichbehandlungsgrundsatzes
kann die Eröffnung einer Veranstaltung für ein großes Publikum ohne Ansehung der Person
sein. Aus dem Gleichbehandlungsgrundsatz folgt in derartigen Fällen, dass eine aus
struktureller Überlegenheit resultierende Entscheidungsmacht einer rechtlichen Kontrolle
unterliegt.
103
BVerfG, Beschl. v. 11.4.2018, 1 BvR 3080/09.
104
BVerfG, Beschl. v. 11.4.2018, 1 BvR 3080/09, Rn. 9 ff.
105
BVerfG, Beschl. v. 11.4.2018, 1 BvR 3080/09, Rn. 40.
106
BVerfG, Beschl. v. 11.4.2018, 1 BvR 3080/09, Rn. 41.
107
BVerfG, Beschl. v. 11.4.2018, 1 BvR 3080/09, Rn. 41 (Hervorhebungen vom Verfasser).
108
BVerfG, Beschl. v. 11.4.2018, 1 BvR 3080/09, Rn. 49 ff.
78
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
5.1.2.3.4 Algorithmische Entscheidungen und strukturelle Überlegenheit
Inwieweit die aktuelle Entscheidung des BVerfG und die dort genannten Grundsätze eine
Bedeutung für algorithmische Entscheidungen haben, ist offen. Das BVerfG hat seine
Entscheidung ganz ausdrücklich auf die spezifische Situation des Stadionverbots, die
seinem Beschluss zugrunde lag, beschränkt.
Es spricht aber einiges dafür, dass die Entscheidung Ausdruck eines allgemeinen
Grundsatzes ist, da das BVerfG das im konkreten Fall zu beurteilende Hausrecht in eine
Reihe mit einem Monopol und einer strukturellen Überlegenheit stellt. Das BVerfG verweist
in seinem Beschluss auf zwei Voraussetzungen eines Gleichbehandlungsgebots: die
Existenz einer einem großen Publikum geöffneten Veranstaltung und die Bedeutung der
Teilnahme an der Veranstaltung für die Teilnahme am gesellschaftlichen Leben.
Eine zur Gleichbehandlung verpflichtende Überlegenheit wird traditionell bei Monopolen und
Angewiesenheit auf die jeweilige Leistung angenommen. Im Hinblick auf den schwierigen
Begriff des Monopols kann ein Gleichbehandlungsgebot auch bei „situativen Monopolen“
entstehen, sofern das Gegenüber auf die jeweilige Leistung angewiesen ist. Voraussetzung
für einen Gleichbehandlungsanspruch dürfte aber, wie das BVerfG in seinem aktuellen
Beschluss betont, die Eröffnung eines Verkehrs für ein allgemeines Publikum sein.
Das BVerfG nennt in der zitierten Passage das Hausrecht neben einem Monopol und der
strukturellen Überlegenheit als Grundlage für eine einseitige Gestaltungsmacht und deutet
damit an, dass die strukturelle Überlegenheit als solche eine Grundlage für ein
Gleichbehandlungsgebot darstellen kann. Der Begriff der strukturellen Überlegenheit wird
auch zur Bezeichnung des Verhältnisses von Unternehmern und Verbrauchern verwendet.
Es ist aber offensichtlich, dass das BVerfG an ein Gleichbehandlungsgebot wesentlich
höhere Voraussetzungen setzt als die bloß abstrakte, rollenspezifische Überlegenheit des
Unternehmers im Verhältnis zum Verbraucher. Man wird vielmehr anzunehmen haben, dass
eine strukturelle Überlegenheit ein Gleichbehandlungsgebot nur auslösen kann, wenn die für
das Gleichbehandlungsgebot typischen Merkmale – die Öffnung der Leistung für einen
breiten Verkehr, die Angewiesenheit auf die Leistung sowie eine einseitige Verfügungsmacht
des Anbieters über die Leistung – in vergleichbarer Weise wie bei einem Monopol vorliegen.
Unter diesen Voraussetzungen wird man wohl einen allgemeinen Grundsatz dahin
formulieren können, dass die aus struktureller Überlegenheit resultierende, einer
Monopolstellung betreffend einer wesentlichen Leistung gleichkommende,
Entscheidungsmacht einen Vertragspartner verpflichtet, potenzielle Vertragspartner nicht
ohne sachlichen Grund ungleich zu behandeln.
Nimmt man einen solchen Grundsatz an, ist offensichtlich, dass der Einsatz von ADM-
Systemen nicht per se zu einer derartigen zur Gleichbehandlung verpflichtenden
strukturellen Überlegenheit führt.
Andererseits liegt es jedoch nahe, dass der Einsatz von ADM-Systemen in
Massengeschäften unter dem Gesichtspunkt einer strukturellen Überlegenheit zu einem
Gleichbehandlungsgebot führen kann. Dies wird aber nur dann in Betracht kommen, wenn
die algorithmische Beurteilung von Personen genutzt wird, um die Angewiesenheit einer
Person auf die Leistung und damit das Kernelement der strukturellen Überlegenheit im
Sinne des Gleichbehandlungsgebots zu erzeugen, zu verstärken oder auszunutzen.
In vielen Einsatzbereichen algorithmischer Entscheidungen wird diese Situation nicht
gegeben sein. Wenn etwa ADM-Systeme genutzt werden, um die Kosten für die
79
