gi-studie-algorithmenregulierung
Dieses Dokument ist Teil der Anfrage „Gutachten des Sachverständigenrats für Verbraucherfragen“
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
5 Algorithmische Entscheidungen aus rechtlicher
Sicht
5.1 Rechtsfragen algorithmischer Beurteilung von Personen
5.1.1 Stand der Diskussion und Problemlagen
5.1.1.1 Algorithmische Beurteilung von Personen in der juristischen Diskussion
Die Diskussion der spezifischen Rechtsfragen algorithmischer Entscheidungen hat erst
jüngst begonnen. Umfassende Untersuchungen und Kategorisierungen der Problemlagen
algorithmischer Entscheidungen aus rechtlicher Sicht liegen, soweit erkennbar, für das
deutsche Recht nicht vor, was angesichts der Vielfalt der Fragestellungen und der Dynamik
der Entwicklung verständlich ist. In der bereits genannten Untersuchung von Martini werden
als Risiken die „Monopolisierung von Markt- und Meinungsmacht“, „Intransparenz“ und
„Diskriminierung“ genannt, aber ersichtlich nicht als systematische oder gar abschließende
Problemanalyse verstanden.100 Auch in anderen Rechtsordnungen werden eher einzelne
Probleme beschrieben (dazu unten Kapitel 6). Vielfach werden in der juristischen Diskussion
dieselben oder ähnliche Themen genannt. So wird auf die Rolle von Facebook im US-
Wahlkampf verwiesen, die Bedeutung des Wohnorts für Kreditentscheidungen oder die
Relevanz des Vornamens in automatisierten Bewerbungsverfahren. Häufig wird auch auf die
in den USA eingesetzte Software zur Ermittlung der Rückfallwahrscheinlichkeit von
Straftätern abgestellt. Ein umfassender Befund oder gar eine einheitliche
Problembeschreibung besteht auch in der internationalen Perspektive nicht.
Eine intensive rechtliche Auseinandersetzung mit den Herausforderungen der Beurteilung
von Personen durch Maschinen existiert bisher nicht. Auch fehlt es an einer systematischen
Beschreibung deren spezifischen rechtlichen Probleme.
Als eine spezifische Problemlage des Einsatzes algorithmischer Entscheidungen kann wohl
die Steigerung des Ausmaßes der Beurteilung von Menschen identifiziert werden. Dies gilt
sowohl hinsichtlich der Intensität als auch des Umfang von Beurteilungen.
5.1.1.2 Beurteilung von Menschen in neuen Bereichen
So lässt sich beobachten, dass mit der Nutzung algorithmischer Entscheidung eine
Beurteilung in Bereichen eintritt, in denen sie bisher nicht vorgenommen wurde. So werden
Güter des Alltags im Massengeschäft traditionell ohne Beurteilung des Käufers verkauft. Im
Supermarkt steht die Ware für jeden Käufer mit gleichen Merkmalen gleichermaßen zur
Verfügung.
Dies ändert sich etwa durch dynamic pricing, soweit der Preis einer Ware abhängig von der
Einschätzung einer Person, etwa deren Zahlungsbereitschaft, festgelegt wird. Individuelle
Preise als solches sind nichts Neues und das Wesensmerkmal aller Märkte, in denen der
Preis durch individuelle Verhandlung festgelegt wird. Es ist aber ein neues Phänomen, wenn
100
Vgl. Martini 2017.
74
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
die individuelle Preisfindung in den Prozess von Massengeschäften ohne expliziten
Verhandlungsprozess übertragen wird.101 Grund dieser Entwicklung ist offenbar die
Absenkung der Transaktionskosten durch den Einsatz von Maschinen auf Seiten des
Anbieters der Ware, die die individuelle Bepreisung für den Verkäufer wirtschaftlich lohnend
macht.
5.1.1.3 Gesteigerte Intensität und einseitige Steuerung der Beurteilung
Die Möglichkeiten algorithmischer Entscheidungen können auch zu einer gesteigerten
Intensität der Beurteilung führen. So können in eine algorithmische Beurteilung von
Personen unter Umständen sehr viel mehr Informationen einfließen, als sie etwa einem
menschlichen Entscheider zur Verfügung stehen. So hat ein menschlicher Verkäufer etwa
im Massengeschäft meist nur wenig Informationen über einen Kaufinteressenten. Dies kann
bei maschinellen Entscheidungen, wenn auf umfassende Datenbestände zugegriffen
werden kann, entscheidend anders sein. Auch bei einer Personalauswahl können bei
algorithmischen Entscheidungen unter Umständen weit mehr Informationen herangezogen
werden, als es bei menschlichen Sachbearbeitern der Fall wäre.
Ein Problem der Beurteilung durch Algorithmen kann sich auch durch die Verengung der
Beurteilungsgrundlage, verbunden mit der einseitigen Steuerung der Beurteilung, ergeben.
ADM-Systeme machen Vorhersagen auf der Basis der zur Verfügung stehenden Daten und
nur dieser Daten. Während der Verbraucher bei unmittelbarer Kommunikation mit einem
menschlichen Beurteiler typischerweise initiativ werden kann, wird ihm diese Dimension der
Verhandelbarkeit beim Einsatz von ADM-Systemen entzogen. Vielmehr wird es zur Aufgabe
des Kunden, sich ADM-konform zu verhalten. Ein eindrucksvolles Beispiel hierfür ist die vor
allem in den USA bekannte Kreditscore-Optimierung, bei der spezialisierte Berater durch
gezielte Maßnahmen, z.B. die Umschichtung von Schulden, die errechnete Kreditwürdigkeit
erhöhen.
5.1.1.4 Zwischenergebnis
Die hier vermuteten spezifischen Problemlagen, die Ausweitung der Beurteilung von
Personen sowohl im Anwendungsbereich als auch in der Intensität durch ADM-Systeme,
werden insbesondere rechtlich relevant, wenn die Beurteilung fehlerhaft ist oder wenn durch
die Beurteilung Ungleichgewichte entstehen.
Diese Studie nimmt daher vor allem die Probleme fehlerhafter Beurteilungen von Personen
in den Blick. Außerdem werden etwaige Ungleichgewichtslagen durch Einsatz von ADM,
insbesondere im Verhältnis zwischen Unternehmern und Verbrauchern, untersucht.
5.1.2 Ungleichgewicht zwischen Verbraucher und Unternehmer durch
algorithmische Entscheidungen
5.1.2.1 Verdacht auf problematische Ungleichgewichtslagen
Algorithmische Entscheidungen werden häufig im Verhältnis zwischen Unternehmern und
Verbrauchern, und regelmäßig ausschließlich durch den Unternehmer, eingesetzt. Dies löst
den Verdacht auf Entstehung oder Vertiefung einer Ungleichgewichtslage zwischen
101
Auf Probleme durch dynamic pricing weist etwa die BaFin in ihrer Studie „Big Data trifft auf
künstliche Intelligenz“, Ziff. 6.2.3.1 (S. 182) hin.
75
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
Unternehmer und Verbraucher aus.102 Insbesondere liegt es nahe, dass eine
Informationsasymmetrie zu Lasten des Verbrauchers entsteht oder erweitert wird.
Ein anderer Aspekt betrifft die Ausnutzung eines individuellen Bedürfnisses des
Verbrauchers an einer Leistung durch den Unternehmer. Dieser Aspekt ist eng mit dem
Problem der Informationsasymmetrie verknüpft, aber nicht damit identisch. So kann
beispielsweise der Unternehmer dem Verbraucher aufgrund Kenntnis dessen zwingenden
Bedürfnisses an der nachgefragten Leistung einen individuellen – höheren – Preis festlegen,
ohne dass der Verbraucher – selbst bei vollständiger Aufklärung – diesem Verhalten
entgehen kann.
Ein einfaches Beispiel: Wenn der Betreiber eines Fußballstadions weiß, dass ein Fußballfan
ein bestimmtes Spiel unbedingt im Stadion sehen möchte, und deswegen den Ticketpreis für
diesen Fan entsprechend anhebt, nützt dem Fußballfan etwaiges Wissen darüber, dass ihm
aufgrund seiner konkreten Bedürfnislage ein erhöhter Preis angeboten wird, nichts.
Dasselbe gilt bei der Buchung einer Flugreise.
In derartigen Situationen sind Fragen der Gleichbehandlung von Bedeutung (siehe dazu
Kapitel 5.1.2.3).
5.1.2.2 Informationsasymmetrie
Algorithmische Beurteilungen von Menschen sind eng mit Problem der
Informationsasymmetrie verknüpft. Informationsasymmetrien im weiteren Sinne als
unterschiedliches Wissen zwischen Partnern in rechtsgeschäftlichen oder sozialen
Beziehungen können problematisch sein, sind zugleich aber notwendige Grundlage einer
arbeitsteiligen Gesellschaft. Entsprechend differenziert werden Informationsasymmetrien
rechtlich adressiert, insbesondere durch punktuelle Informations- und Aufklärungspflichten
oder gar weitergehende Treuepflichten in Vertragsverhältnissen (Arzt, Rechtsanwalt).
Beim Einsatz von ADM-Systemen können Informationsasymmetrien im Verhältnis von
Unternehmern und Verbrauchern aus rechtlicher Sicht von unterschiedlicher Bedeutung
sein. So kann der Unternehmer aufgrund der algorithmischen Beurteilung mehr
Informationen über den Verbraucher und dessen Interesse an der Leistung haben als
umgekehrt der Verbraucher über die Leistung des Unternehmers und Alternativen. Damit
eng verbunden ist der Aspekt, dass es dem Verbraucher an Kenntnis darüber fehlen kann,
was der Unternehmer über ihn und seine Verhältnisse weiß.
Diese Aspekte sind aus rechtlicher Sicht unterschiedlich zu bewerten, etwaige rechtliche
Gegenmaßnahmen können durchaus andersartig sein: So ist etwa die Unkenntnis des
Verbrauchers über die Merkmale der angebotenen Leistung und Alternativen durch
entsprechende Information über die Leistung des Unternehmers und die Möglichkeit zum
Vergleich zu beheben. Die Erteilung dieser Information kann rechtlich etwa durch
produktbezogene Informations- und Aufklärungspflichten gesichert werden, wie sie im
klassischen Verbraucherschutzrecht üblich sind. Dagegen entspricht das Interesse des
Verbrauchers an der Kenntnis der über ihn verwendeten Informationen klassischen
datenschutzrechtlichen Anliegen, die im Hinblick auf Verbraucherschutz gegenüber ADM zu
analysieren und gegebenenfalls fortzuentwickeln sind.
102
Martini (2017) verweist insoweit auf eine „Markt-Macht-Spirale“, ohne diese allerdings näher zu
spezifizieren.
76
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
Informationsasymmetrien im Verhältnis zwischen Unternehmen und Verbrauchern sind
Gegenstand intensiver Forschung verschiedener Disziplinen und Gegenstand von
Gesetzgebung. Ob und inwieweit algorithmische Entscheidungen typische Problemlagen der
Informationsasymmetrie betreffen, bedarf weiterer Forschung, insbesondere der Vernetzung
mit der allgemeinen Forschung zu Informationsasymmetrie im Verhältnis zwischen
Unternehmern und Verbrauchern, die im Rahmen dieser Studie nicht erfolgen kann. Die
Studie beschränkt sich daher auf Aspekte, die unmittelbar mit ADM verbunden sind, etwa
die Reichweite von datenschutzrechtlichen Informationspflichten und Auskunftsansprüchen
im Kontext von ADM.
5.1.2.3 Gleichbehandlung und algorithmische Entscheidungen
5.1.2.3.1 Gleichbehandlung als Fragestellung algorithmischer Entscheidungen
Algorithmische Entscheidungen stellen das Recht nicht zuletzt unter dem Aspekt der
Gleichbehandlung vor Herausforderungen. So wirft etwa das dynamic pricing die Frage auf,
ob und in welchem Umfang die Gleichbehandlung in Bezug auf Preise rechtlich geboten ist
oder sein soll. Der Vertragsfreiheit sind bei der Preisbildung insoweit nur eingeschränkt
Grenzen gesetzt, zivilrechtlich etwa durch § 138 BGB, vor allem aber durch das Kartellrecht.
Ob der Einsatz von dynamic pricing eine Gefahr für den Wettbewerb ist, die durch das
Kartellrecht erfasst werden kann, wird derzeit zwar durchaus untersucht. Es ist aber noch
völlig offen, wie weit die Einschränkungen aus kartellrechtlicher Sicht reichen.
Ähnliche Fragen stellen sich bei der automatisierten Personalauswahl. Zwar greifen insoweit
Diskriminierungsverbote ganz unterschiedlicher Art und Rechtsgrundlagen. Davon
abgesehen sieht das Recht keine umfassende Einschränkung ungleicher oder gar
„ungerechter“ Personalauswahl vor.
Es ist zu vermuten, dass der Gegensatz zwischen dem in der Vertragsfreiheit zum Ausdruck
kommenden grundrechtlich geschützten Gestaltungsfreiheit und dem Schutz Betroffener in
Ungleichgewichtslagen nicht durch einen allgemeinen, übergreifenden Grundsatz zu lösen
sein wird, sondern den Spezifika der jeweiligen Interessenlagen folgend in den jeweiligen
Einsatzbereichen algorithmischer Entscheidungen spezifisch auszugleichen ist.
5.1.2.3.2 Gleichbehandlungsgrundsatz und individuelle Beurteilung
Eine allgemeine Frage, die sich bei zahlreichen Formen algorithmischer Entscheidungen
stellt, ist, inwieweit die Verwendung von Information sowie die algorithmische Beurteilung in
Alltagssituationen gerechtfertigt sind und in welchem Maße ein Anspruch auf
Gleichbehandlung existiert.
Auf verfassungsrechtlicher Ebene besteht ein Grundrecht auf Gleichbehandlung nach Art. 3
GG des Einzelnen gegenüber dem Staat. Im Verhältnis zwischen Privaten wirkt der
Gleichbehandlungsgrundsatz indes nicht unmittelbar, kann aber mittelbar einwirken. Auf der
Ebene des Zivilrechts findet der Gleichbehandlungsgrundsatz, soweit nicht spezifisch
geregelt, durch allgemeine Grundsätze des Vertragsrechts, insbesondere des § 242 BGB
(Treu und Glauben), Berücksichtigung. Aus diesen Grundsätzen folgt etwa, dass ein
willkürlicher Ausschluss eines Vertragspartners von einer Leistung unzulässig sein kann.
Die Reichweite des Gleichbehandlungsgebots in modernen Formen der
Leistungsdistribution ist freilich noch nicht geklärt. Insoweit besteht erheblicher
Forschungsbedarf.
77
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
5.1.2.3.3 Recht auf Gleichbehandlung bei struktureller Überlegenheit?
Für die Frage nach der Bedeutung des Gleichbehandlungsgrundsatzes für algorithmische
Entscheidungen lassen sich möglicherweise Erkenntnisse aus der Bedeutung des
Gleichbehandlungsgrundsatzes in Massengeschäften ziehen.
Insoweit ist ein aktueller Beschluss des Bundesverfassungsgerichts von Interesse, der die
Bedeutung des Gleichbehandlungsgrundsatzes für die Verhängung eines Stadionverbots
zum Gegenstand hatte.103 Ausgangspunkt war die Verfassungsbeschwerde eines
Fußballfans gegen ein zivilrechtliches Urteil, das das gegen ihn verhängte Stadionverbot
bestätigte.104
Das BVerfG weist in dem Beschluss auf die allgemeinen Grundsätze des
Gleichbehandlungsgrundsatzes hin, insbesondere auf den Umstand, dass Art. 3 GG kein
Gleichbehandlungsgebot für die Rechtsbeziehungen zwischen Privaten enthält und sich ein
solches auch nicht aus den Grundsätzen der mittelbaren Drittwirkung von Grundrechten
ergibt. Es fasst dies wie folgt zusammen: „Ein allgemeiner Grundsatz, wonach private
Vertragsbeziehungen jeweils den Rechtfertigungsanforderungen des
Gleichbehandlungsgebots unterlägen, folgt demgegenüber aus Art. 3 Abs. 1 GG auch im
Wege der mittelbaren Drittwirkung nicht.“105
Grundrechtliche Anforderungen bestehen aber, wie das BVerfG im Anschluss daran betont,
in bestimmten Situationen.106 Sodann entwickelt das BVerfG den folgenden Grundsatz:
„Maßgeblich für die mittelbare Drittwirkung des Gleichbehandlungsgebots ist dessen
Charakter als einseitiger, auf das Hausrecht gestützter Ausschluss von Veranstaltungen,
die aufgrund eigener Entscheidung der Veranstalter einem großen Publikum ohne
Ansehen der Person geöffnet werden und der für die Betroffenen in erheblichem Umfang
über die Teilnahme am gesellschaftlichen Leben entscheidet. Indem ein Privater eine solche
Veranstaltung ins Werk setzt, erwächst ihm von Verfassungswegen auch eine besondere
rechtliche Verantwortung. Er darf seine hier aus dem Hausrecht – so wie in anderen Fällen
möglicherweise aus einem Monopol oder aus struktureller Überlegenheit – resultierende
Entscheidungsmacht nicht dazu nutzen, bestimmte Personen ohne sachlichen Grund von
einem solchen Ereignis auszuschließen.“107
In der Folge misst das BVerfG die angegriffene Entscheidung des BGH an diesem
Grundsatz und weist die Verfassungsbeschwerde schließlich ab.108
Diese Überlegungen des BVerfG sind für die rechtliche Erfassung der strukturellen
Überlegenheit in algorithmischen Entscheidungen von großem Interesse. Zunächst bestätigt
das BVerfG, dass ein Recht auf Gleichbehandlung zwischen Privaten nur in bestimmten
Konstellationen besteht. Grundlage für ein Eingreifen des Gleichbehandlungsgrundsatzes
kann die Eröffnung einer Veranstaltung für ein großes Publikum ohne Ansehung der Person
sein. Aus dem Gleichbehandlungsgrundsatz folgt in derartigen Fällen, dass eine aus
struktureller Überlegenheit resultierende Entscheidungsmacht einer rechtlichen Kontrolle
unterliegt.
103
BVerfG, Beschl. v. 11.4.2018, 1 BvR 3080/09.
104
BVerfG, Beschl. v. 11.4.2018, 1 BvR 3080/09, Rn. 9 ff.
105
BVerfG, Beschl. v. 11.4.2018, 1 BvR 3080/09, Rn. 40.
106
BVerfG, Beschl. v. 11.4.2018, 1 BvR 3080/09, Rn. 41.
107
BVerfG, Beschl. v. 11.4.2018, 1 BvR 3080/09, Rn. 41 (Hervorhebungen vom Verfasser).
108
BVerfG, Beschl. v. 11.4.2018, 1 BvR 3080/09, Rn. 49 ff.
78
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
5.1.2.3.4 Algorithmische Entscheidungen und strukturelle Überlegenheit
Inwieweit die aktuelle Entscheidung des BVerfG und die dort genannten Grundsätze eine
Bedeutung für algorithmische Entscheidungen haben, ist offen. Das BVerfG hat seine
Entscheidung ganz ausdrücklich auf die spezifische Situation des Stadionverbots, die
seinem Beschluss zugrunde lag, beschränkt.
Es spricht aber einiges dafür, dass die Entscheidung Ausdruck eines allgemeinen
Grundsatzes ist, da das BVerfG das im konkreten Fall zu beurteilende Hausrecht in eine
Reihe mit einem Monopol und einer strukturellen Überlegenheit stellt. Das BVerfG verweist
in seinem Beschluss auf zwei Voraussetzungen eines Gleichbehandlungsgebots: die
Existenz einer einem großen Publikum geöffneten Veranstaltung und die Bedeutung der
Teilnahme an der Veranstaltung für die Teilnahme am gesellschaftlichen Leben.
Eine zur Gleichbehandlung verpflichtende Überlegenheit wird traditionell bei Monopolen und
Angewiesenheit auf die jeweilige Leistung angenommen. Im Hinblick auf den schwierigen
Begriff des Monopols kann ein Gleichbehandlungsgebot auch bei „situativen Monopolen“
entstehen, sofern das Gegenüber auf die jeweilige Leistung angewiesen ist. Voraussetzung
für einen Gleichbehandlungsanspruch dürfte aber, wie das BVerfG in seinem aktuellen
Beschluss betont, die Eröffnung eines Verkehrs für ein allgemeines Publikum sein.
Das BVerfG nennt in der zitierten Passage das Hausrecht neben einem Monopol und der
strukturellen Überlegenheit als Grundlage für eine einseitige Gestaltungsmacht und deutet
damit an, dass die strukturelle Überlegenheit als solche eine Grundlage für ein
Gleichbehandlungsgebot darstellen kann. Der Begriff der strukturellen Überlegenheit wird
auch zur Bezeichnung des Verhältnisses von Unternehmern und Verbrauchern verwendet.
Es ist aber offensichtlich, dass das BVerfG an ein Gleichbehandlungsgebot wesentlich
höhere Voraussetzungen setzt als die bloß abstrakte, rollenspezifische Überlegenheit des
Unternehmers im Verhältnis zum Verbraucher. Man wird vielmehr anzunehmen haben, dass
eine strukturelle Überlegenheit ein Gleichbehandlungsgebot nur auslösen kann, wenn die für
das Gleichbehandlungsgebot typischen Merkmale – die Öffnung der Leistung für einen
breiten Verkehr, die Angewiesenheit auf die Leistung sowie eine einseitige Verfügungsmacht
des Anbieters über die Leistung – in vergleichbarer Weise wie bei einem Monopol vorliegen.
Unter diesen Voraussetzungen wird man wohl einen allgemeinen Grundsatz dahin
formulieren können, dass die aus struktureller Überlegenheit resultierende, einer
Monopolstellung betreffend einer wesentlichen Leistung gleichkommende,
Entscheidungsmacht einen Vertragspartner verpflichtet, potenzielle Vertragspartner nicht
ohne sachlichen Grund ungleich zu behandeln.
Nimmt man einen solchen Grundsatz an, ist offensichtlich, dass der Einsatz von ADM-
Systemen nicht per se zu einer derartigen zur Gleichbehandlung verpflichtenden
strukturellen Überlegenheit führt.
Andererseits liegt es jedoch nahe, dass der Einsatz von ADM-Systemen in
Massengeschäften unter dem Gesichtspunkt einer strukturellen Überlegenheit zu einem
Gleichbehandlungsgebot führen kann. Dies wird aber nur dann in Betracht kommen, wenn
die algorithmische Beurteilung von Personen genutzt wird, um die Angewiesenheit einer
Person auf die Leistung und damit das Kernelement der strukturellen Überlegenheit im
Sinne des Gleichbehandlungsgebots zu erzeugen, zu verstärken oder auszunutzen.
In vielen Einsatzbereichen algorithmischer Entscheidungen wird diese Situation nicht
gegeben sein. Wenn etwa ADM-Systeme genutzt werden, um die Kosten für die
79
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
Bearbeitung von Massengeschäften zu senken, liegt darin noch kein Einsatz zum Zweck der
Erzeugung oder Ausnutzung einer Angewiesenheit auf eine Leistung. Wird das Verfahren
aber genutzt, um Vertragspartner zu identifizieren, die in besonderer Weise auf die Leistung
angewiesen sind, um von diesen entsprechend höhere Preise zu verlangen, wird strukturelle
Überlegenheit genutzt.
Damit wird offenbar, dass sich in Fällen wie beispielsweise dynamic pricing möglicherweise
Einschränkungen aus dem verfassungsrechtlichen Gleichbehandlungsgebot herleiten
lassen. Indes sind die Voraussetzungen und Rechtsfolgen derzeit noch völlig unklar.
5.1.2.4 Zwischenergebnis
Algorithmische Entscheidungen werfen, über die Konstellation der Diskriminierung oder
sonst rechtlich fehlerhafter Entscheidungen hinaus, Fragen in vielfachen Problemfeldern auf.
5.1.2.4.1 Strukturelle Überlegenheit des Unternehmers durch ADM
Als ein Zwischenergebnis ist festzustellen, dass durch maschinelle Beurteilung vermutlich
ein gesteigertes Ungleichgewicht zwischen Unternehmern und Verbrauchern entsteht. Im
Vergleich zu traditionellen Situationen der Leistungserbringung, etwa dem Vertrieb von
Produkten in einem Verkaufslokal ohne Einsatz von KI, stehen dem Unternehmer mehr
Informationen über Verbraucher zur Verfügung als früher, ohne dass der Verbraucher diese
kennt oder dies beeinflussen kann. Der Unternehmer kann diese Informationsüberlegenheit
in vielfältiger Weise, etwa zum dynamic pricing, nutzen. Ob dem Verbraucher insoweit
hinreichende Möglichkeiten zur Verfügung stehen, seine Interessen zu wahren, ist jedenfalls
zweifelhaft.
Als These ergibt sich damit, dass der Einsatz von ADM zu einem strukturellen
Ungleichgewicht zwischen Unternehmern und Verbrauchern führen kann. Der genaue
Umfang und die Auswirkungen des hierdurch entstehenden Ungleichgewichts sind noch
recht wenig erforscht und können im Rahmen dieser Studie nicht geklärt werden.
5.1.2.4.2 Gleichbehandlungsgebote wegen struktureller Überlegenheit?
Als ein weiteres Zwischenergebnis ist festzustellen, dass der Einsatz von ADM-Systemen in
bestimmten Situationen wohl zu einem Gleichbehandlungsgebot unter dem Gesichtspunkt
einer strukturellen Überlegenheit führen kann. Ein solches Gleichbehandlungsgebot, das
aus dem verfassungsrechtlichen Gleichheitsgrundsatz (Art. 3 GG) abgeleitet werden kann,
wird in Betracht kommen, soweit die algorithmische Beurteilung von Personen genutzt wird,
um die Angewiesenheit auf die Leistung und damit das Kernelement der strukturellen
Überlegenheit im Sinne des Gleichbehandlungsgebots zu erzeugen, zu verstärken oder
auszunutzen.
Die Voraussetzungen eines solchen aus der Verfassung ableitbaren
Gleichbehandlungsgebots in algorithmischen Entscheidungen sind derzeit jedoch noch sehr
unklar. Die damit angesprochenen Fragen können im Rahmen dieser Studie nicht geklärt
werden und bedürfen weiterer Forschung (dazu unten Kapitel 8).
80
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
5.2 Fehler algorithmischer Beurteilung von Menschen
Gegenstand der Studie ist insbesondere die Beurteilung von Personen durch Maschinen,
aufgrund derer eine Entscheidung getroffen wird. So beruht etwa die Entscheidung über die
Bereitschaft zum Abschluss eines Kreditvertrags oder die Auswahl bestimmter Konditionen
für einen Kreditvertrag auf einer Beurteilung der Kreditwürdigkeit des Kreditnehmers.
Eine „Beurteilung“ in diesem Sinne ist regelmäßig Bestandteil einer Auswahlentscheidung.
Wenn beispielsweise ein Vermieter zwischen zwei Mietinteressenten auswählt, liegt der
Auswahlentscheidung typischerweise eine Beurteilung der Mietinteressenten in Bezug auf
ihre Eignung als Mieter zugrunde. Eine solche Beurteilung liegt nach diesem Verständnis
nur dann nicht vor, wenn die Auswahlentscheidung vollständig vom Zufall abhängig gemacht
wird.
Staatliche Aufgaben in Bezug auf den Einsatz von ADM-Systemen können nicht zuletzt
hinsichtlich der Sicherung der Qualität der Entscheidung bestehen. Wie etwa Wischmeyer in
seiner aktuellen Untersuchung aufzeigt, kann sich staatlicher Handlungsbedarf zur
Qualitätssicherung insbesondere zum Schutz von Grundrechten, darüber hinaus aber auch
zum Schutz anderer Verfassungswerte, etwa Demokratie und Rechtsstaatlichkeit,
ergeben.109 Die Notwendigkeit zur rechtlichen Regelung einer maschinellen Beurteilung
kann sich vor allem aus problematischen Beurteilungen ergeben, die nachfolgend als
„fehlerhafte“ Beurteilungen bezeichnet werden. Damit ist von entscheidender Bedeutung,
unter welchen Voraussetzungen die automatisierte Beurteilung eines Menschen als
problematisch oder fehlerhaft anzusehen ist.
Eine allgemeingültige Definition des Begriffs der Fehlerhaftigkeit bei der Beurteilung von
Personen existiert, soweit ersichtlich, nicht. Dies dürfte wesentlich auf den Umstand
zurückzuführen sein, dass die Bewertung einer Beurteilung als „fehlerhaft“ in mehrfacher
Hinsicht von der Perspektive und den Zielen des Bewertenden abhängt.
So kann beispielsweise die Bevorzugung von Bewerbern einer bestimmten Altersgruppe im
Rahmen der Personalauswahl aus Sicht des Auswählenden richtig sein, etwa weil er die
altersmäßige Homogenität des Personals für wichtig hält. Aus Sicht des Bewerbers
hingegen kann es sich um Altersdiskriminierung handeln; aus Sicht eines Vorgesetzten, der
altersgemischte Teams bevorzugt, wiederum um eine fachlich unqualifizierte Entscheidung.
Gerade im Hinblick auf den Gegenstand der Studie, die algorithmische Beurteilung, scheint
es wichtig, diese Relativität des Fehlerbegriffs in den Fokus zu nehmen, da die Funktion der
Maschine häufig indifferent ist. Nach dem Zweck dieser Studie kann man vereinfachend
zwischen zwei Perspektiven unterscheiden: Fehler als Abweichung von eigenen Zielen des
Entscheiders und Fehler als Abweichung von normativen Anforderungen.
5.2.1 Abweichung von eigenen Zielen des Entscheiders
Eine Beurteilung kann zum einen im Hinblick auf die vom Beurteilenden selbst gewählten
Ziele „fehlerhaft“ oder „mangelhaft“ sein. Ein solcher Mangel der Beurteilung liegt dann vor,
wenn sie in der Entscheidungsfindung oder im Entscheidungsergebnis von den vom
Beurteilenden selbst als maßgeblich angenommenen Maßstäben abweicht. Dies wäre
beispielsweise der Fall, wenn der Beurteilende eine von ihm selbst als relevant angesehene
Information übersieht oder sie ihm nicht zur Verfügung stand. Im Gefährdungsszenario
109
Wischmeyer, AöR 2018, 1, 23 f.
81
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
„Unrichtiges Kreditscoring“ (vgl. Kapitel 2.2) liegt häufig, wenngleich nicht notwendig,110 ein
solcher Beurteilungsmangel vor.
5.2.2 Fehler als Abweichung von normativen Anforderungen
Eine Beurteilung kann zum anderen im Hinblick auf die von Dritten vorgegebenen Ziele
fehlerhaft sein. Diese Fallgruppe soll hier hinsichtlich normativer Vorgaben adressiert
werden.
Ein Fehler der Beurteilung liegt nach diesem Maßstab vor, wenn sie in der
Entscheidungsfindung oder im Entscheidungsergebnis von normativ vorgegebenen
Maßstäben, insbesondere von Anforderungen rechtlicher oder sonstiger (z.B. ethischer)
Normen, abweicht. Dies wäre etwa der Fall, wenn ein rechtlich unzulässiges
Entscheidungskriterium verwendet wird, wie es bei der Diskriminierung der Fall ist, oder
wenn der Beurteilende eine Information übersieht, die nach normativen Anforderungen zu
berücksichtigen wäre.
Für die Zwecke der Studie wird unter dem Begriff des „Fehlers“ einer Beurteilung die
Abweichung von rechtlichen Anforderungen an die Entscheidungsfindung oder das
Entscheidungsergebnis verstanden.
Ein Fehler in diesem Sinne kann in allen drei Gefährdungsszenarien existieren. Soweit eine
rechtliche Verpflichtung zu einem zutreffenden Kreditscoring besteht, liegt bei einem
unzutreffenden Scoring ein Fehler der Beurteilung vor. Eine fehlerhafte Beurteilung liegt im
Fall der Diskriminierung vor, soweit man diese als rechtlich unzulässige Ungleichbehandlung
versteht. Im Gefährdungsszenario „Intransparenz“ gilt dies ebenfalls, wenn und soweit eine
rechtliche Transparenzpflicht verletzt wird.
Eine weitere für die rechtliche Regelung der Beurteilung wichtige Unterscheidung ist im
Hinblick auf die Bewertung der Beurteilung nach der Perspektive und dem Wissensstand der
Person zu treffen, die die Beurteilung als fehlerhaft oder fehlerfrei zu bewerten hat.
Diese Unterscheidung wird in der rechtlichen Diskussion meist mit dem Begriffspaar „ex
ante“ und „ex post“ gekennzeichnet. Dabei wird mit dem Begriff „ex ante“ meistens die
Situation des Entscheidenden (hier: des Beurteilenden), insbesondere dessen Wissensstand
und Erkenntnismöglichkeiten bezeichnet, wogegen mit dem Begriff „ex post“ die Perspektive
eines mit Zusatzwissen ausgestatteten Dritten benannt wird, der die Beurteilung bewertet.
Musterfall ist die Perspektive eines Gerichts, das über die Fehlerhaftigkeit einer Beurteilung
zu entscheiden hat.
5.3 Arten von Fehlern
Eine allgemeingültige Systematik der Fehlerhaftigkeit algorithmischer Entscheidungen oder
der Fehlerhaftigkeit der Beurteilung von Personen existiert, soweit ersichtlich, nicht. In seiner
aktuellen Untersuchung zu Rechtsfragen von Algorithmen nennt Martini Intransparenz und
110
Wenn es das ausschließliche Ziel des Kreditscorings ist, die Kreditvergabe an einen
kreditunwürdigen Darlehensinteressenten zu vermeiden, steht die fehlerhafte Beurteilung als
„kreditunwürdig“ nicht notwendig im Gegensatz zu den Zielen des Entscheiders. In der Praxis wollen
Banken allerdings kreditwürdigen Darlehensnehmern einen Kredit geben und sind daher an einer in
beide Richtungen zutreffenden Bewertung interessiert.
82
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
Diskriminierung als – erkennbar nicht abschließende – Fallgruppen von Problemen
algorithmischer Entscheidungen.111
Für die Zwecke der Studie sollen die nachfolgend genannten Fallgruppen unterschieden
werden:
• Unzulässigkeit der (algorithmischen) Beurteilung
• Intransparenz der Beurteilung
• Fehler der Entscheidungsfindung/Beurteilungsverfahren
• Fehler der Entscheidungsgrundlage
• Fehler bei Würdigung der Entscheidungsgrundlagen
5.3.1 Unzulässigkeit der (algorithmischen) Beurteilung
Ein Fehler einer Beurteilung kann bereits in deren Vornahme, Äußerung oder Verwendung
als Entscheidungsgrundlage vorliegen. Äußerungsverbote sind häufig und ergeben sich
etwa aus Geheimhaltungs- und Verschwiegenheitsgeboten. Soweit beispielsweise die
ärztliche Schweigepflicht greift, wäre zwar nicht die Erstellung, aber jedenfalls die Mitteilung
der Beurteilung eines Patienten an Dritte unzulässig.
Die bloße Vornahme einer Beurteilung durch natürliche Personen ist, soweit erkennbar,
nicht geregelt, offensichtlich wegen der traditionellen Unzugänglichkeit menschlicher
Denkvorgänge.
Im Hinblick auf die algorithmische Beurteilung kann schon die Vornahme oder Verwendung
als Entscheidungsgrundlage unzulässig sein. Dieser Aspekt ist angesprochen, soweit etwa
angenommen wird, in Verwaltungsverfahren oder in Strafverfahren112 sei eine
vollautomatisierte Entscheidung unzulässig. Im Anwendungsbereich eines solchen Verbots
wäre eine gleichwohl vorgenommene Beurteilung fehlerhaft im hier genannten Sinne.
Dieser Gedanke (Verbot der algorithmischen Beurteilung) liegt auch etwa Art. 22 DSGVO
zugrunde, der dem Betroffenen einen Anspruch auf eine Beurteilung durch eine natürliche
Person gewährt.113
5.3.2 Intransparenz der Beurteilung
Eine Beurteilungsentscheidung kann bereits wegen Intransparenz fehlerhaft sein. Dies ist
etwa dann der Fall, wenn die Entscheidung öffentlich zu erfolgen hat. Als Fallgruppe der
Intransparenz lässt sich auch das Fehlen einer gebotenen Begründung verstehen.
5.3.3 Fehler der Entscheidungsfindung/Beurteilungsverfahren
Eine Entscheidung kann fehlerhaft sein, weil sie Anforderungen an das Verfahren der
Entscheidungsfindung verletzt. Fehler des Verfahrens können sich auf die Sammlung der
tatsächlichen Entscheidungsgrundlagen beziehen, die hier als eigene Fallgruppe genannt
ist. Es gibt aber auch zahlreiche andere Anforderungen an ein Entscheidungsverfahren,
111
Martini 2017.
112
Siehe dazu Wischmeyer, AöR 2018, 1, 64, Fn. 260 mit Nachweisen zur US-amerikanischen
Debatte.
113
Siehe dazu unten Kapitel 5.5.
83
