Gutachten:
                                                      Technische und rechtliche Betrachtungen
                                                       algorithmischer Entscheidungsverfahren




Anhand der Ergebnisse der Studie lassen sich folgende Prognosen wagen:

1. Eine Pflicht zur manuellen Überprüfung einer einzelnen algorithmischen Entscheidung ist
nur in engen Teilbereichen sinnvoll. Ob über Art. 22 DSGVO hinaus eine Regelung geboten
oder möglich ist, ist derzeit nicht abzusehen.

2. Eine Pflicht zur Durchführung von Tests von ADM-Systemen vor deren Einsatz sowie
begleitend zu deren Einsatz als Teil der laufenden Überwachung wird in vielen Bereichen
geboten sein. Dies wird stets der Fall sein, soweit ADM-Systeme in für den Betroffenen
wesentlichen Bereichen eingesetzt werden. Die Personalauswahl gehört hierzu ebenso wie
Versicherungstarife, namentlich im Bereich der Krankenversicherung.

Soweit geeignete Testverfahren allgemein verfügbar sind, wird die Durchführung eines Tests
zumutbar sein. Damit die Voraussetzungen einer Pflicht, die sich aus Generalklauseln
ableiten ließe, vorliegen, sollte die Pflicht zur Vermeidung von Rechtsunklarheit und
Rechtsunsicherheit ausdrücklich geregelt werden (dazu unten Kapitel 8.3.3.2).

7.3.2.2 Testergebnis und Schluss auf rechtserhebliche Tatsachen

7.3.2.2.1 Fallgruppen

Eine weitere wesentliche Fallgruppe der rechtlichen Bedeutung von Tests ergibt sich durch
die Möglichkeit, von einem Testergebnis auf das Vorliegen einer rechtlich erheblichen
Tatsache zu schließen.

Wenn sich beispielsweise aufgrund eines Tests einer konkreten algorithmischen
Entscheidung ergibt, dass bei der konkreten Entscheidung eine Diskriminierung vorlag, kann
unter Umständen das Testergebnis dazu führen, dass rechtlich von der Existenz einer
Diskriminierung auszugehen ist.

Der damit angesprochene Schluss von der Existenz eines Testergebnisses auf die Existenz
einer rechtlich erheblichen Tatsache ist in sehr unterschiedlichen rechtlichen Konstellationen
relevant und wirft zahlreiche Fragen in verschiedenen Rechtsgebieten auf. So hat dieser
Schluss etwa für den Betreiber eines ADM-Systems, den Betroffenen, eine
Aufsichtsbehörde oder ein Gericht Bedeutung. Insbesondere stellt sich die Frage, unter
welchen Voraussetzungen der Schluss gezogen werden kann oder gezogen werden muss,
wann also der Test zweifelsfrei auf diese Tatsache weist. Gleichzeitig ist relevant, welche
Bedeutung ein Verdacht oder das Naheliegen der Tatsache unterhalb der Schwelle voller
Überzeugung für die Existenz der jeweiligen Tatsache hat.

Diese überaus komplexe Fragestellung kann im Rahmen dieser Studie nicht untersucht
werden. Da dieser Schluss aber für weitere Fragestellungen der Untersuchung, etwa
legislative Maßnahmen, von entscheidender Bedeutung ist, sollen zur Vereinfachung zwei
Annahmen getroffen werden:

1. Annahme: Es wird zahlreiche Sachverhalte geben, in denen aufgrund eines
Testergebnisses über eine algorithmische Entscheidung ein Entscheidungsträger, etwa ein
Gericht, zu der vollen Überzeugung gelangt, dass die Entscheidung an einem rechtlich
relevanten Fehler leidet, etwa eine (rechtlich relevante) Diskriminierung enthält.

2. Annahme: Es wird zahlreiche Sachverhalte geben, in denen es aufgrund eines
Testergebnisses    über   eine    algorithmische  Entscheidung  aus     Sicht   des
Entscheidungsträgers naheliegt, dass die Entscheidung an einem rechtlich relevanten


                                             150

Gutachten:
                                                      Technische und rechtliche Betrachtungen
                                                       algorithmischer Entscheidungsverfahren




Fehler leidet, etwa eine (rechtlich relevante) Diskriminierung enthält, dies aber nicht ohne
weiteres zweifelsfrei auf die Existenz eines solchen Fehlers schließen lässt.

Mit diesen Annahmen ist insbesondere die beweisrechtliche Relevanz von Testverfahren
angesprochen. In der erstgenannten Konstellation wird der Entscheidungsträger aufgrund
des Testergebnisses auf die jeweilige Tatsache, hier auf die Existenz eines Fehlers der
algorithmischen Entscheidung, schließen.

Die Annahmen beziehen sich zur Vereinfachung auf den Test einer konkreten
algorithmischen Entscheidung. In aller Regel hat das Testergebnis rechtliche Auswirkungen
auf das betroffene ADM-Verfahren insgesamt. So wird, wenn das ADM-System unverändert
eingesetzt wird, regelmäßig davon auszugehen sein, dass das System insgesamt fehlerhaft
ist. Damit werden Pflichten beim Einsatz des Verfahrens ausgelöst.

In Bezug auf die rechtliche Bedeutung von Testergebnissen sind zwei Fallgruppen nach
dem Gegenstand des Testergebnisses zu unterscheiden: die Überprüfung einer konkreten
algorithmischen Entscheidung zum einen und die Überprüfung eines ADM-Systems zum
anderen.

7.3.2.3.1 Überprüfung einer algorithmischen Entscheidung

Tests an ADM-Systemen können von Bedeutung sein, wenn eine konkrete algorithmische
Entscheidung überprüft wird, etwa im Rahmen eines gerichtlichen Verfahrens wegen einer
Diskriminierung oder einer fehlerhaften Auswahlentscheidung.

Die Bedeutung der durch Tests an ADM-Systemen erzielten Ergebnisse im Rahmen der
Überprüfung konkreter algorithmischer Entscheidungen folgt nach geltendem Recht den
allgemeinen Regeln. Wenn etwa aufgrund eines Testergebnisses festgestellt wird, dass bei
einer algorithmischen Entscheidung eine Diskriminierung vorlag, treten die allgemeinen
Rechtsfolgen einer Diskriminierung ein. Die Überprüfung algorithmischer Entscheidungen
auf Fehler, etwa Diskriminierung, fügt sich damit nahtlos in das geltende Recht ein.

Ob sich daraus ableiten lässt, dass insoweit kein Gesetzgebungsbedarf besteht, ist jedoch
zweifelhaft. Zum einen dürften sich im Zusammenhang mit ADM-Systemen und
algorithmischen Entscheidungen durchaus rechtlich relevante Probleme ergeben, die bei
menschlichen Beurteilungen hingenommen werden, im Zusammenhang mit manueller
Erledigung jedoch rechtlichen Regelungen zugänglich werden. Zum anderen ist damit zu
rechnen, dass im geltenden Recht Lücken oder Unklarheiten bestehen.

Darauf folgt zunächst erheblicher Forschungsbedarf in Bezug auf Fehler durch
algorithmische Entscheidungen. Gegenstand der Forschung sollten unter anderem folgende
Aspekte sein:

7.3.2.3.2 Vorliegen und Rechtsfolgen des Fehlers einer algorithmischen Entscheidung

Zu klären ist, unter welchen Voraussetzungen im Fall einer algorithmischen Entscheidung
ein rechtlich relevanter Fehler vorliegt, der Rechtsfolgen auslösen soll. Wenn beispielsweise
eine Überprüfung einer algorithmischen Entscheidung ergibt, dass mit hoher
Wahrscheinlichkeit der ausländisch klingende Name eines Verbrauchers im Zusammenhang
mit dessen Wohnanschrift zu einer negativen Kreditentscheidung geführt hat, so ist nach
geltendem Recht unklar, ob und welche Rechtsfolgen einer Diskriminierung durch diesen
Befund ausgelöst werden.



                                            151

Gutachten:
                                                      Technische und rechtliche Betrachtungen
                                                       algorithmischer Entscheidungsverfahren




Ein Aspekt ist etwa, unter welchen Voraussetzungen eine Diskriminierung, die sich aufgrund
eines Tests ergibt, erheblich ist. Dabei wird zu beachten sein, dass Tests maschineller
Entscheidungen deutlich eher zur Feststellung oder zum Verdacht einer Diskriminierung
führen, als es angesichts der genannten Feststellungschwierigkeiten bei menschlichen
Entscheidungen der Fall ist. Daher sind auch die Rechtsfolgen eines Fehlers gegebenenfalls
neu zu bestimmen, etwa durch ein abgestuftes System, das nicht bei jeglichem Fehler zur
Unwirksamkeit oder Anfechtbarkeit der Entscheidung führt oder Schadensersatzansprüche
auslöst.

7.3.2.3.3 Gap-Analyse des Rechtsrahmens hinsichtlich algorithmischer Entscheidungen

Grundlegender Forschungsbedarf ergibt sich hinsichtlich potentieller Lücken im
Rechtsrahmen bezüglich Fehlern algorithmischer Entscheidungen. Wie dargestellt, haben
zentrale Instrumente des Schutzes gegen Diskriminierungen oder andere Fehler von
Entscheidungen, insbesondere das AGG hinsichtlich Diskriminierung, sowie dem
Datenschutzrecht (Art. 22 DSGVO, § 31 BDSG), zwar durchaus einen breiten
Anwendungsbereich, decken aber nur Teilaspekte ab. So sichert Art. 22 DSGVO zwar eine
menschliche Mitwirkung bei der Entscheidung, enthält aber keine spezifischen Regeln zu
Fehlern algorithmischer Entscheidungen. Daneben wird Rechtsschutz auch durch
Generalklauseln des Zivilrechts gewährleistet. Jedoch ist derzeit nicht klar festzustellen, ob
die Schutzinstrumente einen hinreichenden Schutz gegenüber ADM-Systemen erbringen
und inwieweit Lücken bestehen. Die Analyse etwaige Lücken wird derzeit erschwert durch
die Existenz zahlreicher ungeklärter Grundsatzfragen, die im Rahmen dieser Studie
angesprochen wurden.

Es erscheint daher sinnvoll, vor Veranlassung legislativer Maßnahmen im Rahmen der
erforderlichen Forschung eine Gap-Analyse des geltenden Rechts zu zentralen Fehlern
algorithmischer Entscheidungen, insbesondere Diskriminierung, durchzuführen.

7.3.2.3.4 Überprüfung von ADM-Systemen

Tests an ADM-Systemen können rechtlich ebenso von Relevanz sein, wenn es nicht um die
Überprüfung einer algorithmischen Entscheidung geht, sondern um die Qualität der
Entscheidungen und damit die Funktionsfähigkeit des Systems insgesamt. In diesem Fall
hat der Test oft über den Einzelfall hinaus Bedeutung.

Derartige Fragen können sich in zivilrechtlichen Kontexten stellen. Vor allem können
Testergebnisse im Rahmen kollektivrechtlicher oder aufsichtsrechtlicher Verfahren von
Bedeutung sein. Für die nachfolgenden Überlegungen wird die Situation zugrunde gelegt,
dass ein Test an einem ADM-System durchgeführt wurde und dieser Test auf einen Fehler
des Systems, etwa diskriminierende Entscheidungen, hinweist.

7.3.2.3.5 Bewertung von Testergebnissen im Zivilrecht

Die Frage nach der Bedeutung eines Testergebnisses für die Bewertung eines ADM-
Systems kann in den unterschiedlichsten zivilrechtlichen Kontexten von Bedeutung sein,
etwa im Zusammenhang mit der Mangelhaftigkeit des Systems, die im Verhältnis zwischen
Käufer und Verkäufer des Systems relevant ist. Sie kann auch Bedeutung haben zur
Auslösung von Verhaltenspflichten, insbesondere für die Pflicht, die Verwendung eines
ADM-Systems zu unterlassen. Eine solche Unterlassungspflicht kann sich etwa aus den
allgemeinen Regeln des Vertrags- und Deliktsrechts ergeben. So wird sich aus § 823 BGB,
der Generalklausel des Deliktsrechts, sowie aus § 1004 BGB (analog) wohl ableiten lassen,


                                             152

Gutachten:
                                                     Technische und rechtliche Betrachtungen
                                                      algorithmischer Entscheidungsverfahren




dass der Verwender eines ADM-Systems, dem aufgrund eines Testergebnisses bekannt ist,
dass das von ihm eingesetzte System fehlerhafte Entscheidungen trifft, dieses nicht
weiterhin nutzen darf, soweit beim Einsatz des Systems Rechte Dritter, etwa
Persönlichkeitsrechte, verletzt werden. Insoweit bestehen ein Unterlassungsanspruch des
Betroffenen (§ 1004 analog) sowie, wenn ein Schaden eingetreten ist, ein
Schadensersatzanspruch aus § 823 BGB. In Schuldverhältnissen ergeben sich
entsprechende Pflichten als vertragliche Nebenpflicht nach § 241 BGB, gegebenenfalls in
Verbindung mit § 311 BGB, bei deren Verletzung ein Schadensersatzanspruch nach § 280
BGB entsteht. Es ist jedoch offensichtlich, dass der Schutz vor fehlerhaften algorithmischen
Entscheidungen auf dieser gesetzlichen Grundlage jedenfalls derzeit recht schwach ist. Dies
beruht schon darauf, dass ein zivilrechtlicher Unterlassungs- oder Schadensersatzanspruch
eines Betroffenen nur im Einzelfall wirkt, nicht aber die Verwendung gegenüber Dritten
betrifft. Es liegt nahe, dass die Ergänzung durch Aufsicht oder Klagen von Verbänden
notwendig sein wird.

Ähnliche Fragen ergeben sich für den Hersteller von ADM-Systemen. Dieser unterliegt
jedenfalls den allgemeinen Regeln des Delikts- und des Produkthaftungsrechts. Hier besteht
derzeit das Problem, dass die Anwendbarkeit des ProdHaftG auf reine Software durchaus
noch umstritten ist. Insoweit ist der europäische Gesetzgeber bei der anstehenden
Überarbeitung der Produkthaftungsrichtlinie gefordert, für eine Klarstellung/Klärung zu
sorgen.

Es dürfte nicht zweifelhaft sein, dass sich aus den Regeln der deliktischen
Produzentenhaftung nach § 823 BGB auch Pflichten für den Hersteller von ADM-Systemen
ergeben, soweit diese geeignet sind, Persönlichkeitsrechte zu verletzen. Es dürfte auch
nicht fraglich sein, dass ein Hersteller insoweit verpflichtet ist, das System angemessen zu
testen, bevor es in Verkehr gebracht wird. Auch gilt die Produktbeobachtungspflicht, wonach
der Hersteller verpflichtet ist, das ADM-System auch nach Inverkehrbringen in Bezug auf die
Gefahr der Verletzung von Persönlichkeitsrechten zu beobachten und zu reagieren. Ein
negatives Testergebnis löst daher zumindest die Pflicht aus, diese zu bewerten und
gegebenenfalls Folgen für den Einsatz des Systems abzuleiten. Daraus könnten
Informationspflichten gegenüber den Verwendern des Systems entstehen und
gegebenenfalls sogar die Pflicht, das System zurückzurufen (Produktrückruf).

Allerdings bestehen erhebliche Unklarheiten über die Konkretisierung dieser Pflichten auf
ADM-Systeme. Bei Systemen, die Machine Learning einsetzen, kommen weitere
grundlegende Fragen hinzu. So ist derzeit jedenfalls noch völlig ungeklärt, wie weit die
Pflicht der Hersteller reicht, insbesondere wenn das Trainieren des Systems oder die
Datengrundlage beim Einsatz des Systems im Verantwortungsbereich des Verwenders des
Systems liegt.

7.3.2.3.6 Testergebnisse im Aufsichtsrecht

Der Rechtsrahmen der Überprüfung von ADM-Systemen im Rahmen der Aufsicht ist äußert
unklar, da es an einem spezifischen aufsichtsrechtlichen Rahmen fehlt. So sind
Aufsichtsmaßnahmen im Rahmen der Finanzaufsicht denkbar, wenn ein ADM-System im
Finanzbereich eingesetzt wird, ebenso nach dem Datenschutzrecht. In beiden
Beispielsfällen gibt es keine Regelung zu Tests oder zur Bedeutung von Testergebnissen
von ADM-Systemen.

Entsprechend ist auch die Bedeutung eines konkreten Testergebnisses unklar. Wenn etwa
einer Datenschutzaufsichtsbehörde vorgetragen wird, ein Test habe ergeben, dass ein


                                             153

Gutachten:
                                                     Technische und rechtliche Betrachtungen
                                                      algorithmischer Entscheidungsverfahren




ADM-System diskriminierende Entscheidungen vorschlage, so ist in vielerlei Hinsicht unklar,
welche Befugnisse die Behörde insoweit hat oder ob sie gar eingreifen muss. In welchem
Maße die inhaltlich richtige Verwendung von Daten – darum geht es in diesem Fall –
Schutzgegenstand des Datenschutzrechts ist, ist durchaus noch nicht geklärt. Vor allem wird
sich für die Aufsicht die Frage stellen, unter welchen Voraussetzungen sie von einem
Testergebnis auf einen grundsätzlichen Mangel des Systems schließen kann, da wohl nur
dann eine Untersagungsverfügung gegen den Betreiber des Systems in Betracht kommt.
Ähnliche Fragen stellen sich bei der Finanzaufsicht.

Aufsichtsrechtliche Maßnahmen gegen Hersteller von ADM-Systemen kommen nach
geltendem Recht in den hier betrachteten Fallgruppen wohl nicht in Betracht, so dass sich
die Frage nach der Bedeutung von Testergebnissen nicht stellen dürfte.

7.3.2.3.7 Klärungsbedarf zur Bedeutung von Testergebnissen für die Herstellung und
Verwendung von ADM-Systemen

Die Überlegungen zeigten, dass sich nach geltendem Recht schwierige Fragen auch über
die Bewertung eines Testergebnisses und seiner Relevanz für die Herstellung und
Verwendung von ADM-Systemen ergeben.

Wie dargestellt, ist derzeit durchaus nicht klar, ob und unter welchen Voraussetzungen ein
ADM-System im Fall eines negativen Testergebnisses noch eingesetzt werden darf. Dies
hängt jedenfalls teilweise von der Unklarheit über die Qualität von Testverfahren und darauf
ableitbaren Testergebnissen ab.

Soweit Privatpersonen Rechte geltend machen wollten, ist unklar, inwieweit überhaupt
Zugang zu den Informationen besteht, die eine Bewertung des Testergebnisses und seiner
Folgen ermöglichen.

Ähnliches gilt im Fall der Aufsicht, die zwar regelmäßig eigene Untersuchungsbefugnisse
hat, also selbst Tests durchführen könnte, aber regelmäßig keine spezifischen Kompetenzen
zur Bewertung von Tests hat. Dies führt zu erheblichen praktischen Schwierigkeiten: Wenn
etwa einer Datenschutzaufsichtsbehörde oder der Finanzaufsicht vorgetragen wird, ein
ADM-System entscheide diskriminierend, und dabei auf ein Testergebnis verwiesen wird, so
wird es für die Behörde aus eigener Kompetenz kaum möglich sein, das Testergebnis und
den entsprechenden Vortrag zu bewerten. Es müsste also auswärtige Kompetenz eingeholt
werden, wofür aber typischerweise keine entsprechenden Ressourcen bereitstehen. In
jedem Fall entsteht für die Behörde ein sehr erheblicher Aufwand für die Einarbeitung in die
spezifischen Aspekte der ADM-Systeme, die nicht zum „Kerngeschäft“ der Behörde
gehören. Da in den meisten Aufsichtsbereichen, jedenfalls im Bereich der Datenschutz- und
Finanzaufsicht, eine Vielzahl anderer Aufgaben vorliegt, ist damit zu rechnen, dass ein
weiteres Tätigwerden unterbleibt, soweit nicht von dritter Seite klare Aussagen zur Qualität
des Testergebnisses vorgelegt werden.

Auch bei der Bewertung von Testergebnissen bestehen erhebliche Schwierigkeiten, da die
Aussagekraft eines Tests entscheidend von der Qualität des Teststandards und des
Testverfahrens abhängt. Insoweit fehlt es jedoch an allgemein anerkannten Maßstäben.
Dies ist sowohl für zivilrechtliche Mechanismen, etwa Produkthaftung, als auch für die
Aufsicht von Bedeutung, da in beiden Fällen Rechtsklarheit über die Bewertung eines
Testergebnisses entscheidend für die Frage ist, ob zivilrechtliche Rechte geltend gemacht
werden oder Maßnahmen der Aufsicht ergriffen werden. So wird ein Betroffener keine
Rechte wegen Verletzung einer Produktbeobachtungspflicht geltend machen, wenn nicht


                                            154

Gutachten:
                                                     Technische und rechtliche Betrachtungen
                                                      algorithmischer Entscheidungsverfahren




klar ist, welche Bedeutung ein etwaiges negatives Testergebnis hat. Ähnliches gilt im Fall
der Aufsicht.

Für jeglichen Rechtsschutz in Bezug auf ADM-Systeme wird es daher wichtig sein, dass
Aufsichtsbehörden, gegebenenfalls auch Betroffene, Zugang zu Testergebnissen und allen
weiteren Informationen zu etwaigen Tests haben, die eine Bewertung des Testergebnisses
ermöglichen, und dass die Aussagekraft von Tests so klar ist, dass Hersteller und
Verwender von ADM-Systemen einerseits, Aufsichtsbehörden und gegebenenfalls auch
Betroffene andererseits die Möglichkeit haben, Schlüsse auf Pflichten beim Einsatz des
Systems zu ziehen. Diese Fragen müssen derzeit als offen bezeichnet werden.

Angesichts der offenen Fragen lässt sich insoweit insbesondere Forschungsbedarf
feststellen. Gegenstand der Forschung sollten dabei nicht zuletzt die Qualität von
Testverfahren sowie die Möglichkeit des Zugangs zu Informationen über Testergebnisse und
deren Bewertung sein.

Angesichts der erheblichen Unklarheit ist anzunehmen, dass als Ergebnis der Forschung ein
Gesetzgebungsbedarf festgestellt wird, der insbesondere der Konkretisierung der Pflichten
von Herstellern und Nutzern von ADM-Systemen zu deren Überwachung einschließlich der
Beachtung von Testergebnissen dienen sollte.

7.3.3 Durchsetzung der Durchführung von Tests

7.3.3.1 Notwendigkeit der rechtlichen Regelung
Ein wesentlicher Aspekt ist die Sicherung der Durchführung von Tests. Hersteller und
Verwender von ADM-Systemen haben regelmäßig ein Interesse an der Durchführung von
Tests der Systeme zur Qualitätssicherung und zur Vermeidung fehlerhafter algorithmischer
Entscheidungen. Wie im Rahmen der Untersuchung des Begriffs des Fehlers und der
systematischen Unterscheidung möglicher Fehler einer algorithmischen Entscheidung
dargestellt, wird sich diese aber nicht notwendigerweise auf den Schutz des Betroffenen und
dessen Persönlichkeitsrechte erstrecken.

Damit kann auf das Eigeninteresse von Herstellern und Verwendern von ADM-Systemen zur
Durchführung von Tests zum Schutz der Persönlichkeitsrechte der Betroffenen nicht gesetzt
werden.

Daher ist die Durchführung von Tests rechtlich abzusichern, damit gewährleistet ist, dass
Tests zum Schutz der Betroffenen auch tatsächlich durchgeführt werden.

Die Durchsetzung des Tests von ADM-Systemen kann durch ganz unterschiedliche
rechtliche Instrumente erreicht werden.

7.3.3.2 Tests als Zulassungsvoraussetzungen
Die Durchführung von Tests kann durch Gesetz als Zulassungsvoraussetzung für den
Vertrieb oder den Einsatz von ADM-Systemen ausgestaltet werden. Derartige Regelungen
sind im Bereich von Maschinen (etwa Kfz und Medizinprodukten) und Anlagen weit
verbreitet. Dies geht regelmäßig mit einer intensiven rechtlichen Regelung des betreffenden
Bereichs einher.




                                           155

Gutachten:
                                                         Technische und rechtliche Betrachtungen
                                                          algorithmischer Entscheidungsverfahren




7.3.3.3 Zertifizierung und Prüfung
Die Durchführung von Tests hat große Bedeutung im Bereich von Zertifizierungen oder
technischen Prüfungen von Maschinen und Anlagen. Zertifizierungen können, als
Instrumente der Selbstregulierung, freiwillig erfolgen oder auch gesetzlich angeordnet sein,
wie etwa im bekannten Beispiel der Kfz-Hauptuntersuchung. Zertifizierungen295 dürften ein
vielversprechendes Instrument zur Qualitätssicherung von ADM-Systemen sein. Freilich
besteht noch Forschungsbedarf zur Frage, ob und gegebenenfalls wie eine Zertifizierung
rechtlich erzwungen werden sollte oder rechtliche Anreize geschaffen werden sollten, wie es
die DSGVO in Bezug auf die Zertifizierung für Auftragsverarbeiter tut. Soweit eine Pflicht zur
Zertifizierung oder Prüfung angeordnet werden soll, ist eine gesetzliche Grundlage
erforderlich.

7.3.3.4 Tests als Aufsichtsmaßnahme
Tests können von Aufsichtspersonen im Rahmen ihrer Aufsichtstätigkeit durchgeführt oder
angeordnet werden. Dies setzt die – bisher nicht durchgehend gegebene – Existenz
zuständiger Aufsichtsbehörden und entsprechender Aufsichtspersonen voraus.

7.3.3.5 Haftung als Anreiz zur Durchführung von Tests
Ein wesentlicher Anreiz zur Durchführung von Tests kann durch Haftungsregelungen
geschaffen werden. Wie dargestellt, besteht eine Haftungsregelung dem Grundsatz nach
bereits in Form des § 823 BGB. Jedoch könnte eine spezielle Haftungsnorm weitaus direkter
und dosierter Anreize setzen. So könnte beispielsweise durch Gesetz eine Haftung der
Produzenten durch fehlerhaft programmierte Entscheidungen geschaffen werden, bei der
die Haftung wesentlich von der Durchführung eines geeigneten Tests abhängt.296

7.3.3.6 Beweislastregeln als Anreiz zur Durchführung von Tests
Ähnliche Steuerungseffekte wie Haftungsregeln können Beweislastregeln entfalten, die im
Rahmen bestehender Haftungsregeln greifen. Das schärfste Instrument ist insoweit die
Beweislastumkehr, die etwa dann reifen könnte, wenn kein ordnungsgemäßer Test
durchgeführt wird. Gegenüber der in der Literatur vorgeschlagenen Beweislastumkehr hat
ein solche Besonderheit eine andere Wirkung, indem sie gezielt auf die Durchführung von
Tests drängt und damit für den Verwender von ADM-Systemen wesentlich geringere
Haftungsrisiken schafft als eine allgemeine Beweislastumkehr.

7.3.3.7 Zivilrechtliche Ansprüche auf die Durchführung von Tests
Ein weiteres, überaus mächtiges Mittel zur Durchsetzung von Tests könnten zivilrechtliche
Ansprüche auf die Durchführung oder Duldung von Tests darstellen. Ob und in welchem
Umfang sich zivilrechtliche Ansprüche auf die Durchführung oder Duldung von Tests aus
dem geltenden Recht ableiten lassen, ist unklar. Jedenfalls besteht keine gesetzliche
Regelung, die Privaten einen Anspruch auf Durchführung eines Tests von ADM-Systemen
gibt. Daher ist zu erörtern, ob derartige Rechte eingeführt werden sollten.

7.3.3.7.1 Vorteile und Risiken zivilrechtlicher Ansprüche auf Testdurchführung

295
  Zu Recht wird das Instrument der Zertifizierung in der Literatur empfohlen (dazu oben 7.1.1.10).
296
   In eine zumindest ähnliche Richtung geht der Vorschlag von Wischmeyer, AöR 2018, 1, 62, der
Haftungserleichterungen bei regelmäßiger Durchführung von Audits erwägt.


                                               156

Gutachten:
                                                      Technische und rechtliche Betrachtungen
                                                       algorithmischer Entscheidungsverfahren




Die Vorteile eines zivilrechtlichen Anspruchs auf Durchführung eines Tests sind
offensichtlich: Die Berechtigung füllt eine Lücke des geltenden Rechts, das die Durchführung
von Tests bisher nicht sichert. Da die Durchführung von Tests die Möglichkeiten zur
Ermittlung von Fehlern maschineller Entscheidungen, insbesondere Diskriminierung,
entscheidend verbessert, ist sie ein entscheidendes Mittel des Rechtsschutzes.

Der besondere Vorteil eines zivilrechtlichen Anspruchs auf Durchführung eines Tests von
Entscheidungssystemen liegt darin, dass die von einer algorithmischen Entscheidung
Betroffenen ihren Rechtsschutz selbst durchsetzen können und nicht etwa auf das Handeln
Dritter, etwa einer Aufsichtsbehörde, angewiesen sind.

Die Einführung eines solchen zivilrechtlichen Anspruchs hätte freilich auch Nachteile. So ist
die Wahrnehmung des Rechts auf Testen für beide Seiten aufwendig, selbst wenn man
einmal annimmt, dass in Zukunft Testverfahren hinreichender Qualität mit angemessenem
Aufwand möglich sind.

Ebenso müssen die Rechte des Produzenten und Verwenders von ADM-Systemen gewahrt
sein, etwa im Hinblick auf Geschäftsgeheimnisse. Zwar führt die Durchführung eines Tests
typischerweise nicht zur Offenlegung von Geschäftsgeheimnissen. Es besteht aber
vermutlich ein Risiko: Jedenfalls durch „exzessives“ Testen wird man einen Einblick in die
Struktur des Programms erhalten.

Es könnten auch durch unsorgfältige Tests missverständliche Testergebnisse produziert
werden, deren Veröffentlichung für den Hersteller oder Verwender des ADM-Systems
problematische Reputationsschäden hervorrufen kann. So kann man sich leicht vorstellen,
dass durch einen Test eine Diskriminierung festgestellt wird, die sich bei einer Nachprüfung
mit einem anderen Test als nicht haltbar erweist.

Es erscheint daher notwendig, ein etwaiges Recht zum Testen zu begrenzen, um die Rechte
der Verwender von ADM-Systemen zu wahren.

7.3.3.7.2 Ausgestaltung eines Anspruchs auf Testdurchführung

Die konkrete Ausgestaltung eines Anspruchs             auf   Testdurchführung    muss    den
widerstreitenden Interessen Rechnung tragen.

Anspruchsgegner sollte, soweit es um einen zivilrechtlichen Anspruch des Betroffenen geht,
der Verwender des ADM-Systems sein.

Zunächst sollte der Anspruch nicht voraussetzungslos, sondern nur bei einem hinreichenden
Verdacht auf einen Fehler, etwa eine Diskriminierung, bestehen. Dieser Verdacht wäre vom
Anspruchsberechtigten substantiiert vorzutragen. Dies könnte im Fall der Überprüfung einer
konkreten Kreditentscheidung etwa darin bestehen, dass Umstände vorgetragen werden,
die für die Kreditwürdigkeit sprechen.

Eine entscheidende Weichenstellung eines Rechts auf Testdurchführung betrifft die
Aktivlegitimation. Dies Recht kann als Individualanspruch dem von einer algorithmischen
Entscheidung Betroffenen eingeräumt werden. Allerdings stellen sich dann die genannten
Probleme wie Kosten des Testverfahrens oder etwaige Missbrauchsrisiken (Ausspähen) mit
besonderer Schärfe.

Daher ist zu erwägen, ergänzend ein Recht zur Durchführung von Tests von ADM-Systemen
bestimmten Organisationen, etwa Verbraucherschutzverbänden, einzuräumen oder gar auf


                                            157

Gutachten:
                                                    Technische und rechtliche Betrachtungen
                                                     algorithmischer Entscheidungsverfahren




derartige Organisationen zu begrenzen. Letztlich dürfte, ohne dass dies im Rahmen dieser
Studie abschließend beurteilt werden könnte, ein Recht auf Testdurchführung nur dann
effizient sein, wenn es durch Organisationen wahrgenommen wird. Ein solches Recht sollte
mit einem Unterlassungsanspruch der Organisation verbunden werden.

Bei der Testdurchführung sind sehr unterschiedliche Modelle denkbar. Eine einfache und
zugleich weitreichende Maßnahme wäre etwa die Pflicht, eine Schnittstelle zum ADM-
System bereitzustellen, über die z.B. nach eigenem Ermessen Tests gemacht werden
können. Weniger weitreichend wäre es, solche Pflichten für Gerichtsverfahren aufgrund
richterlicher Anordnung zu beschließen.

Die Regelung über ein individuelles Recht zur Durchführung von Tests wäre durch einen
vorgelagerten Anspruch auf Auskunft für etwaige Testberechtigte zu ergänzen, damit ein
derartiges Recht geltend gemacht werden kann.

7.3.3.8 Durchführung von Tests durch Beschwerde- oder Schiedsstellen
Denkbar erscheint es auch, statt eines individuellen Anspruchs auf Testdurchführung ein
administriertes Verfahren zur Durchführung von Tests zu etablieren, wobei Tests auf
Initiative von Betroffenen (Beschwerden) durch eine neutrale Stelle vorgenommen werden.
Diese neutrale Stelle könnte eine staatliche Stelle, etwa eine Agentur für ADM-Verfahren,
oder eine von der Wirtschaft zu betreibende Institution, ähnlich den Ombudsleuten im Bank-
und Versicherungswesen, sein.

In diesem Fall könnten durch Einrichtung einer neutralen Instanz Missbrauchsrisiken
eingedämmt und Vorteile durch eine Breitenwirkung der Tests erzielt werden. Die
Unterhaltung und Finanzierung der Testverfahren könnte Herstellern und Verwendern von
ADM-Systemen auferlegt werden, Missbräuche durch Antragsteller könnten durch
Gebührenregelungen eingedämmt werden.

7.3.3.9 Zwischenergebnis
Der Überblick zeigt, dass die rechtlichen Möglichkeiten zur Durchsetzung von Tests von
ADM-Systemen und zur Überprüfung algorithmischer Entscheidungen vielseitig und komplex
sind. Eine umfassende Analyse dieses Aspekts kann im Rahmen dieser Studie nicht
erfolgen.

7.3.4 Anforderungen an Testverfahren
Als ein Ergebnis der Studie hat sich ergeben, dass Tests von ADM-Systemen und die
Überprüfung algorithmischer Entscheidungen erhebliche rechtliche Bedeutung haben.
Voraussetzung hierfür ist aber, dass die Testverfahren als zuverlässig und die daraus
erzielten Testergebnisse als richtig angesehen werden können.

Bei den damit angesprochenen qualitativen Anforderungen an Testverfahren sind zwei
Aspekte zu unterscheiden: zum einen die Qualität des Testverfahrens, insbesondere des
Prüfstandards, als solches, das insbesondere zuverlässig sein muss und eine hinreichende
Aussagekraft aufweisen muss, und zum anderen die Durchführung eines konkreten Tests,
insbesondere die korrekte Anwendung des Testverfahrens und ein ordnungsgemäßes
Verfahren im Übrigen.




                                           158

Gutachten:
                                                     Technische und rechtliche Betrachtungen
                                                      algorithmischer Entscheidungsverfahren




In beiden Aspekten muss eine hinreichende Qualität gesichert sein, damit Rechtsfolgen
ausgelöst werden können.

Für den rechtlichen Rahmen von Testverfahren für ADM-Systeme bedeutet dies, dass diese
Qualität rechtlich abgesichert oder jedenfalls für die Zwecke der Normen, für die Tests von
Bedeutung sind, die erforderliche Qualität von Testverfahren so präzise zu bestimmen ist,
dass das Vorliegen einer hinreichenden Qualität des Verfahrens überprüft werden kann.

7.3.4.1 Qualität von Testverfahren und Prüfstandards
Die Möglichkeiten des Tests von ADM-Systemen wurden im technischen Teil der Studie mit
Blick auf Verfahren mit Maschinellem Lernen untersucht. Als ein Zwischenergebnis der
Analyse ergibt sich, dass insoweit noch erheblicher Entwicklungsbedarf besteht (siehe
Kapitel 4.5).

Aus rechtlicher Sicht ist es nicht nur für diesen wichtigen Spezialfall, sondern für ADM-
Verfahren generell von Bedeutung, die erforderliche Qualität rechtlich zu fundieren oder
rechtlich abzusichern. Ansonsten wären Tests jeweils im konkreten Einzelfall, etwa durch
eine Aufsichtsperson, oder in einem Gerichtsverfahren, zu bewerten.

Der erste Schritt zu diesem Ziel müssen eine genaue Ermittlung sowie eine umfassende
Beschreibung und Untersuchung der gegenwärtig vorhandenen Testverfahren für ADM-
Systeme sein, die, soweit ersichtlich, bisher nicht vorliegen.

Darauf aufbauend sollte die notwendige Qualität von Testverfahren bestimmt werden. Dies
könnte eine Aufgabe einer staatlichen Agentur für ADM-Systeme sein (siehe dazu unten
8.2.2), die derartige Prozesse orchestrieren und, soweit sie aus der Praxis angestoßen
werden,     daran    teilnehmen   könnte.   Dies    betrifft etwa   die   Mitarbeit  in
Standardisierungsgremien etc.

Auf dieser Grundlage sollte dann geprüft werden, welche legislativen Maßnahmen erfolgen
können, um klare rechtliche Rahmenbedingungen hinsichtlich der Qualität an Testverfahren
zu stellen.

7.3.4.2 Testverfahren
Die ordnungsgemäße Durchführung von Tests ist eine entscheidende Voraussetzung für
Vertrauen in Testergebnisse, ebenso in die Möglichkeit, durch die Durchführung des Tests
eine rechtliche Verpflichtung zu erfüllen.

Kernelemente eines ordnungsgemäßen Verfahrens technischer Überprüfung sind stets die
Kompetenz und die Unabhängigkeit der Stelle, die den Test durchführt, sowie eine fachlich
richtige Handhabung des Testverfahrens als solches. Hinzu kommen weitere
verfahrensabhängige Anforderungen, wie etwa die Anhörung des Verwenders des
Testobjekts sowie eine Widerspruchsmöglichkeit gegen Testergebnisse, die einer Regelung
bedürfen.

Die Durchführung von Tests technischer Verfahren ist nicht durchgängig rechtlich geregelt.
Je mehr einem Test rechtliche Bedeutung beigemessen wird, desto stärker ist freilich die
Notwendigkeit, auch den Test zum Gegenstand rechtlicher Regelungen zu machen.




                                           159