Gutachten:
                                                     Technische und rechtliche Betrachtungen
                                                      algorithmischer Entscheidungsverfahren




unbedingt zu vermeiden, schon weil die Information nicht mehr wirken kann, wenn sie
unterschiedslos bei jeder Art von Entscheidung erteilt wird. Eine Informationspflicht sollte
daher nur angeordnet werden, soweit ein entsprechender Schutzbedarf des Verbrauchers
besteht. In den in dieser Studie genannten Fallgruppen des Kreditscorings und individueller
Versicherungstarife ist ein solcher Schutzbedarf zu bejahen.

7.4.3 Zwischenfazit
Als Ergebnis zeigt sich damit, dass Kennzeichnungs- und Informationspflichten bei ADM-
Systemen ein wichtiges Element der Reglementierung sind.

Eine gesetzliche Kennzeichnungspflicht für ADM-Systeme kann jedenfalls in Teilbereichen
sinnvoll sein. Insbesondere erscheinen gesetzliche Informationspflichten, soweit sie nicht
ohnehin bestehen, gegenüber Verbrauchern sinnvoll.

Allerdings stehen auch diese im Kontext mit anderen Maßnahmen und sollten daher im
Zusammenhang mit diesen zunächst weiter erforscht und sodann in einem
Gesetzgebungsakt umgesetzt werden.




7.5 Zusammenfassung                      der      Ergebnisse           anhand          der
Gefährdungsszenarien
Entsprechend der Aufgabenstellung des SVR liegen der Studie drei Gefährdungsszenarien
zugrunde.303 Nachfolgend werden die Ergebnisse der Kapitel 4, 5 und 7 auf diese
Gefährdungsszenarien bezogen.

7.5.1 Gefährdungsszenario 1: Inhaltlich unrichtige Entscheidung
Inhaltlich unrichtige Entscheidungen durch ADM-Systeme liegen vor, wenn auf Basis der zur
Verfügung stehenden Daten die falsche Entscheidung getroffen wurde. Es geht hier um den
eigentlichen Entscheidungsausgang (z.B. ein Kredit wird einem faktisch kreditwürdigen
Antragsteller verweigert).

Kapitel 4.3 und 5.3 erklären und illustrieren, dass inhaltlich falsche Entscheidungen in
verschiedene Fehlertypen unterteilt werden können und ein Regulierungsregime daran
anknüpfen kann. Das Fehlerverhalten eines ADM-Systems kann also anhand von Testdaten
genau untersucht wurden, sofern diese Testdaten repräsentativ für die praktische
Anwendung des Systems sind. Kapitel 4.4 erläutert technische Verfahren, um durch Tests
und Audits ADM-Systeme auf deren inhaltliche Richtigkeit zu überprüfen.

ADM-Systeme werden auf Testdaten praktisch niemals fehlerfrei entscheiden. Rechtlich
stellen sich nun, wie in Kapitel 5 dargestellt, mehrere Fragen: Ist der Einsatz eines ADM-
Systems (ohne Überprüfung durch einen Menschen im Einzelfall) überhaupt zulässig? Unter
Umständen könnte Art. 22 DSGVO dies einschränken, wie in Kapitel 5.5 erörtert. Die
Reichweite der Norm ist jedoch beschränkt und in der Praxis zumindest der hessischen
Datenschutzaufsicht spielt sie offenbar nur eine geringe Rolle.

303
      Siehe oben Kapitel 2.2.


                                            163

Gutachten:
                                                     Technische und rechtliche Betrachtungen
                                                      algorithmischer Entscheidungsverfahren




Falls der ADM-Einsatz zulässig ist, können sich aus verschiedenen Gesichtspunkten
Anforderungen an die Gestaltung des Entscheidungsprozesses ergeben. Dabei ist an eine
mögliche strukturelle Überlegenheit des Entscheiders zu denken, wie sie in Kapitel 5.1
erörtert wird. Ob dieser und andere Gesichtspunkte eine neue Form der
Algorithmenregulierung nahelegen – und welche Möglichkeiten hierfür bestehen –,
diskutieren wir im vorliegenden Kapitel 7.

Aber auch bestehende gesetzliche Regelungen, wie sie etwa die Diskriminierung betreffen,
stellen Anforderungen an das ADM-System. Dies führt uns zu Gefährdungsszenario 2.

7.5.2 Gefährdungsszenario 2: Diskriminierender Algorithmus
Das Beispiel der Diskriminierung macht deutlich, dass es keine einfache Lösung gibt, um die
Richtigkeit von Entscheidungen sicherzustellen. So können beim Einsatz Maschinellen
Lernens, wie wir in Kapitel 4.2 darstellten, schon die Trainingsdaten unausgewogen sein,
was sich dann im Regelfall auch im gelernten Modell niederschlagen wird. Es existieren
technische Ansätze zur Vermeidung dieses Effekts, die jedoch nur teilweise reif bzw.
geeignet sind, um regulatorisch durch Gesetzgebung und Prozessgestaltung in der Aufsicht
aufgegriffen zu werden. Ein Verzicht auf die Verwendung geschützter Attribute wie
Geschlecht oder ethnische Herkunft kann die unmittelbare Benachteiligung (vgl. zu diesem
Begriff Kapitel 5.4.1) der entsprechenden Gruppen verhindern. Aufgrund der
Zusammenhänge mit anderen, nicht geschützten Attributen kann eine mittelbare
Benachteiligung (vgl. Kapitel 5.4.2) aber nicht ausgeschlossen werden.

Um, soweit möglich, auf unerwünschte Benachteiligungen prüfen zu können, müssen
einerseits operationalisierbare Kriterien vorliegen, die eine Implementierung der
Anforderungen seitens der Verwender und eine Prüfung durch Behörden praktisch
ermöglichen. Allgemein anerkannte, operationalisierbare Kriterien sind in der bisherigen
Rechtsprechung und Literatur aber noch nicht ersichtlich. Eine Bestimmung dieser Kriterien
kann durch die laufende Forschung zum Thema Fair Machine Learning erfolgen, beinhaltet
aber notwendigerweise konkrete inhaltliche Ausgestaltungen des Gleichbehandlungsbegriffs
in relevanten Rechts- und Sachgebieten. Wir gehen auf diese Problematik und den weiteren
Forschungsbedarf oben in Kapitel 5.4.3 ein.

Andererseits bedarf es auch einer technischen Umsetzung. Bisher werden oft einfache,
transparente Modelle, insbesondere basierend auf der logistischen Regression, eingesetzt
(vgl. Kapitel 4.1.2). Hier können die Modelle noch mit vertretbarem Aufwand durch Experten
analysiert werden. Jedoch stellt sich das Problem möglicher Diskriminierung allgemeiner.
Ansätze liegen im Testen bzw. der Auditierung, für die aber ein Zugriff auf das ADM-System
sowie geeignete Testdaten benötigt werden. Ob eine Prüfung bzw. ein Test ex ante
vorgesehen werden sollte und wie ein rechtlicher Rahmen für Tests aussehen könnte,
diskutieren wir in Kapitel 7.3.

Für die Gefährdungsszenarien 1 und 2 gleichermaßen ist es von Bedeutung, wie ein Fehler
einer algorithmischen Entscheidung, etwa eine Diskriminierung, festgestellt werden kann.
Als Mittel können dazu insbesondere eine Code-Analyse sowie ein Test des ADM-Systems
eingesetzt werden (vgl. Kapitel 7.2.2) Als besonders vielversprechend wird in der Studie das
Testen erkannt, das auch bei selbstlernenden Systemen angewendet werden kann (vgl.
Kapitel 7.2.2.3). Insbesondere können Tests in den Gefährdungsszenarien 1 und 2
eingesetzt werden.




                                            164

Gutachten:
                                                           Technische und rechtliche Betrachtungen
                                                            algorithmischer Entscheidungsverfahren




Soweit demnach dem Testen von ADM-Systemen eine wesentliche Bedeutung für die
rechtliche Regelung von ADM-Systemen zukommen soll, ist es erforderlich, einen
rechtlichen Rahmen für das Testen zu schaffen, der sowohl die Qualität des Testverfahrens
als auch die Durchführung von Tests sicherstellt und die rechtliche Bedeutung von Tests
festlegt (vgl. Kapitel 7.3). Insoweit gelangt die Studie zu dem Ergebnis, dass in allen
Aspekten noch erheblicher Bedarf an Forschung und gesetzlicher Regelung besteht, um für
die Gefährdungsszenarien 1 und 2 eine effektive Bekämpfung fehlerhafter Entscheidungen
und diskriminierender Algorithmen sicherzustellen.

7.5.3 Gefährdungsszenario                   3:         Intransparent      personalisierender
Algorithmus
Unsere Literaturanalyse und Befragungen deuten an, dass das Problem der
Preisdiskriminierung zwar viel diskutiert wird, das Ausmaß und die angewandten Methoden
aber weitgehend unbekannt sind. Gerichtsentscheidungen gibt es hier noch nicht, auch nicht
wenn die internationale Dimension mit einbezogen wird. Die bestehende Diskussion bleibt
daher weitgehend spekulativ. So verwendet die Artikel-29-Datenschutzgruppe
Preisdiskriminierung zwischen Apple- und PC-Benutzern (ausgehend von der Idee, dass
sich Erstere größere Ausgaben leisten können) als (problematisches) Beispiel für eine
Verletzung des Grundsatzes der Eingrenzung des Verwendungszwecks, ohne aber auf
konkrete Beispiele zu verweisen. Ob es hier zu Problemgestaltungen kommt, die von denen
im Kreditscoring und Datenschutzrecht unterschiedlich sind und einer gesonderten
Regelung bedürfen, wird von diesen spezifischen Fragen der Ausgestaltung der Algorithmen
abhängig sein. Es gibt es in verschiedenen Branchen zahlreiche Fälle von legitimer
Preisdifferenzierung (Risikogruppen, Angebotsauslastung etc.) und ob der Einsatz von
Algorithmen hier neuen Handlungsbedarf erzeugt – über das in dieser Studie Verlangte
hinaus –, würde eine sehr viel detailliertere empirische Analyse der Methoden, Verbreitung
und Auswirkungen auf den Verbraucher verlangen. So ist es bereits umstritten, ob sich
Preisdifferenzierung generell positiv oder negativ auf Verbraucher auswirkt. Auch aus
diesem Grund ist die Debatte zur algorithmischen Preisdifferenzierung auch international
bislang schwerpunktmäßig im Wettbewerbs- und Kartellrecht geführt worden.

Für unsere engere Fragestellung indes sind die Ausführungen zum Kreditscoring und
Datenschutz analog anwendbar. Insbesondere bedeutet dies, falls wirklich ein Verbraucher
als wohlhabender klassifiziert wird und dann einen einfachen Artikel mit höheren Preisen
angezeigt bekommt, ohne dass dabei ein Risiko-, Nachfrage- oder Vorratsaspekt gegeben
wäre, dies per Sock Puppet Audit im laufenden System möglicherweise gut prüfbar ist. Dazu
muss man „nur“ mehr und weniger wohlhabende Benutzer „simulieren“.304 Hier gilt natürlich,
dass von einem als Profiling erscheinenden Verhalten nicht automatisch auf den
Rechtsverstoß geschlossen werden kann. Ist eine solche Prüfung nicht möglich (etwa weil
eine Benutzerhistorie nicht retroaktiv erschaffen werden kann), dann kann eine nicht-
datenschutzrechtliche Prüfung nur durch ein Audit des Modells selbst (z.B. anhand von
Unternehmensdaten) im Unternehmen stattfinden, wobei hier unter Umständen
Geschäftsgeheimnisse eine Rolle spielen können.



304
   Eine Studie, die sowohl die Möglichkeit des Testens als auch empirisch die Prävalenz und
Methode erforscht, ist unter anderem die von Aniko Hannak, Gary Soeller, David Lazer, Alan Mislove
und Christo Wilson. „Measuring price discrimination and steering on e-commerce web sites.“ In
Proceedings of the 2014 conference on internet measurement conference, S. 305-318. ACM, 2014.


                                                 165

Gutachten:
                                                     Technische und rechtliche Betrachtungen
                                                      algorithmischer Entscheidungsverfahren




Derzeit besteht bereits erhebliche Unklarheit über die rechtlichen Grenzen des Einsatzes
von ADM-Systemen zur Preisdiskriminierung, die nicht Gegenstand der Studie sind. Im
Hinblick auf das damit zusammenhängende allgemeine Problem der intransparent
personalisierenden Algorithmen werden Kennzeichnungs- und Informationspflichten
diskutiert (vgl. Kapitel 7.4). In der Studie werden gesetzliche Kennzeichnungspflichten für
den Einsatz von ADM-Systemen als grundsätzlich geeignete Mittel zur Verbesserung der
Transparenz angesehen, jedoch nur für bestimmte, konkrete Fallgruppen empfohlen: Diese
sollten, über die Regelung der DSGVO hinaus, eingeführt werden, soweit Rechte auf
Überprüfung algorithmischer Entscheidungen bestehen. Dies kann aber beispielsweise für
Preisdiskriminierung derzeit nicht ohne weiteres als gegeben angesehen werden. Ähnliches
gilt für Informationspflichten, die nur punktuell, bei besonderem Schutzbedarf etwa von
Verbrauchern, eingeführt werden sollten (vgl. Kapitel 7.4.2).

Damit stellt die Studie auch zum im Gefährdungsszenario 3 angesprochenen Aspekt der
Transparenz erheblichen Forschungsbedarf fest (vgl. Kapitel 7.4.3).




                                           166

Gutachten:
                                                     Technische und rechtliche Betrachtungen
                                                      algorithmischer Entscheidungsverfahren




8 Handlungsempfehlungen

Die Studie zeigt, dass bei ADM-Systemen und algorithmischen Entscheidungen
Handlungsbedarf auf mehreren Gebieten besteht. Die erforderlichen Maßnahmen werden
nachfolgend für die Bereiche der Forschung, generell des Erkenntnisgewinns zu ADM (8.1),
organisatorischer Maßnahmen (8.2) sowie legislativer Maßnahmen (8.3) beschrieben.



8.1 Forschung, Ausbildung und Standardisierung
8.1.1 Bedarf an            interdisziplinärer      Forschung        zu     maschinellen
Entscheidungen
Die interdisziplinäre Rechtsinformatikforschung zeichnet sich durch eine enge
Zusammenarbeit zwischen Informatik und Rechtswissenschaft aus, weil nur dadurch der
Stand der Wissenschaft weiterentwickelt werden kann.

Maschinelle Entscheidungen sind ein derzeit sehr aktueller Teil dieser Kooperation. Das
Szenario der Entscheidungsprozesse ändert sich wesentlich. Während bisher Fehler von
Menschen und ihre Vermeidung im Vordergrund standen, sind nunmehr Fehler beim Einsatz
von Algorithmen zu berücksichtigen. Zudem werden maschinelle Entscheidungen häufig als
Blackbox angesehen. Dem können nur eine bessere Erklärbarkeit und Auditing/Zertifizierung
der maschinellen Entscheidungen Abhilfe schaffen.

Es sind große Forschungsanstrengungen in interdisziplinären Programmen erforderlich, in
denen Informatiker, Mathematiker und Juristen die Themen maschineller Entscheidungen
wissenschaftlich erforschen: So existieren beispielsweise umfangreiche technische Literatur
zur Fairness algorithmischer Entscheidungen sowie juristische Literatur und
Rechtsprechung, die die Feststellung von Diskriminierung durch menschliche Entscheider
betrifft; wie die jeweils verwendeten Konzepte zusammenhängen und welche juristischen
Anforderungen an eine diskriminierungsfreie maschinelle Entscheidung bestehen, ist aber
noch unklar. Durch gezielte Förderung (Forschungsprojekte, Stipendien, Kollegien,
Workshops, Hackathons, Challenge-Datasets etc.) muss ein Brückenschlag zwischen den
Disziplinen vollzogen werden, der das gegenseitige Verständnis stärkt, eine gemeinsame
Sprache für einen produktiven Austausch ermöglicht und so die Grundlage für eine
ergebnisorientierte Forschung schafft. Ein naheliegendes Forschungsziel wäre
beispielsweise eine rigorose empirische Untersuchung der praktischen Anwendbarkeit von
quantitativen Fairnessmetriken und Fair-Machine-Learning-Methoden in konkreten
Sachgebieten, in denen bereits jetzt ADM-Verfahren eingesetzt werden.

Solche Anforderungen könnten sich auch von denen an menschliche Entscheidungen
unterscheiden, da eine genauere Analyse möglich wird, die gegebenenfalls zu schnell zu
einer Einschätzung eines ADM-Systems als diskriminierend führt. Zu klären sind zudem
Transparenzanforderungen an maschinelle Entscheidungen, Beweisverfahren bei
möglicherweise diskriminierenden Algorithmen, die Relevanz von quantitativen
Gleichbehandlungsbegriffen und deren praktische Nutzung, das Audit von bereits operablen
ADM-Systemen etc. Im Ergebnis soll dies einen Katalog der wichtigsten Kriterien zur



                                           167

Gutachten:
                                                             Technische und rechtliche Betrachtungen
                                                              algorithmischer Entscheidungsverfahren




Bewertung von ADM ergeben. Dieses Gutachten erläutert spezifische Aspekte dieses
Forschungsbedarfs in den Kapiteln 5.4.3 und 7.3.

Diese Forschungsergebnisse sollen dann in der weiteren Erforschung zum Rechtsschutz
gegenüber ADM-Verfahren münden. Aus Sicht der Rechtsinformatikexperten der
Gesellschaft für Informatik ist eine umfangreiche Gap-Analyse des Rechtsrahmens
erforderlich, um die Regelungslücken des bisherigen Datenschutzrechts und
Diskriminierungsschutzes identifizieren zu können. Es ist zu prüfen, ob Verpflichtungen zur
Transparenz, Auditing von Algorithmen, Beweiserleichterung bei Rechtsstreitigkeiten oder
Beweislastumkehr hilfreich sind, um die Rechtsposition der Verbraucher zu verbessern,
ohne eine ungebührliche Last für die betroffenen Unternehmen darzustellen oder teure
bürokratische Strukturen schaffen zu müssen.

Die etablierten Konferenzen über AI und Recht – z.B. die International Conference on
Artificial Intelligence & Law (ICAIL) sowie JURIX – sollten sich stärker dem Austausch der
Forschungsergebnisse über den Einsatz von Algorithmen widmen. Dies kann durch die
Unterstützung von Workshops gefördert werden. Hierbei sollen sowohl Algorithmen, Tests
und Auditing-Verfahren als auch deren rechtliche Zulässigkeit jeweils interdisziplinär
behandelt werden.

8.1.2 Verankerung in der Lehre und Ausbildung
Die Praxis des zunehmenden Einsatzes von ADM-Verfahren muss sich auch in der Lehre
und Ausbildung an den Hochschulen niederschlagen. Besonders betroffen sind die
Studiengänge der Informatik und Rechtswissenschaften. Bei Letzteren besteht der stärkere
Handlungsbedarf, weil die Kenntnis von Algorithmen und deren rechtlicher Bewertung
derzeit noch kaum gelehrt wird. Darüber hinaus gilt es, die Kompetenzen im Umgang mit
digitalen Technologien und Daten in der Breite der Hochschulausbildung zu verankern –
auch jenseits der Informatik und Rechtswissenschaften.305

8.1.2.1 Interdisziplinäre Programme an Hochschulen
Für die Ausbildung von Experten in der ADM wäre es notwendig, interdisziplinäre
Programme an Hochschulen in Form von Fächerkombinationen und postgradualen
Programmen       einzurichten.    Diese    Programme       sollen    sich   an    Juristen,
Wirtschaftswissenschaftler und Informatiker richten und sowohl den technischen Einsatz von
ADM als auch die rechtlichen Fragen umfassen. Juristen sollten sich mit der
Wechselwirkung zwischen Recht und angewandter Algorithmik und Machine Learning
bereits im Studium als Schwerpunkt oder durch Seminare beschäftigen können. Studierende

305
   Außer den bereits genannten Disziplinen zeigt unsere Literaturanalyse, dass auch eine Integration
mit den Wirtschaftswissenschaften verstärkt werden sollte. Entscheidungstheoretische Ansätze aus
den Wirtschaftswissenschaften haben zumindest das Potenzial, informationstechnische, rechtliche
und empirisch-wirtschaftliche Perspektiven zu verbinden. Wir haben diese in dieser Studie nur kurz
anreißen können, doch typische Studien reichen von frühen Versuchen, diskriminierendes Verhalten
von Juroren zu identifizieren (Finkelstein, Michael O., „The application of statistical decision theory to
the jury discrimination cases.“ Harvard Law Review (1966), S. 338-376) bis zur gegenwärtigen
Forschung im maschinellen Lernen (siehe z.B. Faisal Kamiran, Asim Karim und Xiangliang Zhang,
„Decision theory for discrimination-aware classification.“ In Data Mining (ICDM), 2012 IEEE 12th
International Conference on, S. 924-929. IEEE, 2012.) Dies ist insbesondere in Bereichen wie der
Preisdiskriminierung hilfreich, in denen die juristische Einordnung des „Schadens” schwerfällt und das
Problem eher die Auswirkung auf den Markt und den Wettbewerb als auf den einzelnen Verbraucher
sein könnte.


                                                   168

Gutachten:
                                                      Technische und rechtliche Betrachtungen
                                                       algorithmischer Entscheidungsverfahren




der (Wirtschafts-) Informatik sollten die hier behandelten juristischen Aspekte der
Anwendung von Algorithmen und regulierten datenbasierten Systemen als Nebenfach
belegen oder ebenfalls in speziellen Seminaren erlernen können. Idealerweise sollte dies im
Rahmen einer Zusammenarbeit zwischen den jeweiligen Fakultäten an den Hochschulen
stattfinden und sollten die Teilnehmer schon im Studium dem Fachwissen, den Methoden
und der Wissenschaftskultur beider Disziplinen ausgesetzt sein.

8.1.2.2 Übergreifende Kurse und Zertifikate
Zusätzlich wäre es wichtig, Aus- und Weiterbildungskurse für bereits qualifizierte Fachkräfte
anzubieten, in denen die technischen Grundlagen sowie rechtlichen Rahmenbedingungen
für ADM vermittelt werden. Auch der wirtschaftswissenschaftliche Hintergrund könnte dabei
berücksichtigt werden. Die Attraktivität der Kurse kann durch Zertifikate und anerkannte
Zusatzqualifikationen gesteigert werden. Die Kurse sollen sich inhaltlich sowohl an Juristen
als auch an Informatiker und Ingenieure richten. Damit erreicht man nicht nur eine
Steigerung des Problembewusstseins, sondern fördert implizit auch einen Diskurs zwischen
beiden Disziplinen und erhöht die Vernetzung und Mobilität qualifizierten Personals.

8.1.2.3 Ausbildungsschwerpunkte für Juristen und Informatiker
In der Rechtsinformatik sollte Grundlagenwissen zu ADM als Teil der Ausbildung zum
Einsatz von Technologien in der Rechtswissenschaft vermittelt werden. Zusätzlich wäre es
hilfreich, auch Workshops zum praktischen Einsatz von ADM anzubieten; hier wäre ein
Schwerpunkt auch auf die Einführung in die Programmierung von Algorithmen zu legen. Bei
Informatikern sollten verstärkt die rechtlichen Grundlagen des Einsatzes von ADM, z.B.
Datenschutz oder Gleichbehandlung, gelehrt werden.

8.1.2.4 Data Literacy in der wirtschafts- und sozialwissenschaftlichen Ausbildung
fördern
Auch in anderen Disziplinen mit Schnittmengen zu den Rechtswissenschaften und der
Informatik wie beispielsweise den Wirtschafts- und Sozialwissenschaften sollte die
Vermittlung von Kompetenzen im Umgang mit ADM-Verfahren, die sie speisenden Daten
und zugrundeliegenden Prozesse und Wirkungsweisen einen höheren Stellenwert
bekommen. Eine Studie der Dalhousie University in Kanada fasst diese Fähigkeit unter dem
Begriff „Data Literacy“ zusammen.306 Dies beinhaltet die Kompetenzen, Daten erfassen,
erkunden, managen, kuratieren, analysieren, visualisieren, interpretieren, kontextualisieren,
beurteilen und anwenden zu können. Data Literacy wird als eine zentrale Kompetenz für die
Digitalisierung und die globale Wissensgesellschaft angesehen.307

Die Fähigkeit, planvoll mit Daten umzugehen und sie im jeweiligen Kontext bewusst
einsetzen und hinterfragen zu können, wird über viele Studienrichtungen – insbesondere für
die    Sozialwissenschaften    inklusive  der    Rechts-,    Wirtschafts-,   Politik- und
Verwaltungswissenschaften – hinweg immer wichtiger. Demnach ist Data Literacy eine
zentrale Kompetenz für die Digitalisierung und die globale Wissensgesellschaft in allen
Sektoren und Disziplinen. Angesichts der zunehmenden Menge und der Verfügbarkeit von
Daten und der steigenden algorithmischen Durchdringung vieler Lebensbereiche stellt sich
die Herausforderung, mit den Daten Wissen zu generieren, fundiert Entscheidungen treffen,
aber auch ADM-Verfahren hinterfragen zu können.

306
      Ridsdale et al. 2015.
307
      Heidrich et al. 2018.


                                            169

Gutachten:
                                                        Technische und rechtliche Betrachtungen
                                                         algorithmischer Entscheidungsverfahren




Wissen über Systeme und der kritische Umgang mit diesen müssen zudem in den
Wirtschaftswissenschaften, speziell dem Management, gelehrt werden: einerseits weil in den
Wirtschaftswissenschaften auch Entscheidungstheorie gelehrt wird, andererseits weil im
Management die Begehrlichkeit, die Systeme zur Kosteneinsparung einzusetzen, vermutlich
am größten ist. Gerade Einsätze zur Kostenersparnis können aber die problematischsten
Verwendungen sein.308

8.1.3 Forschungsstrategie
8.1.3.1 Klassische Forschungsförderung
Im Rahmen dieser Arbeit wurden umfassend offene Fragen an der Schnittstelle zwischen
Recht und Informatik aufgezeigt. Weiterführende Forschung ist erforderlich, um die
rechtlichen Rahmenbedingungen klarer aufzuzeigen und die technische Machbarkeit sowie
die zu erwartende Innovation umfassender zu verstehen.309

Es      ist    notwendig,   dass    dazu      Forschungsprogramme    in    bestehenden
Wissenschaftsförderstrukturen, z.B. durch das Bundesministerium für Bildung und
Forschung (BMBF) oder die Deutsche Forschungsgemeinschaft (DFG), ins Leben gerufen
werden, die sich dezidiert diesem Schnittstellenthema widmen. Man könnte diese zum Teil
auch in den bereits existierenden Forschungsprogrammen über Künstliche Intelligenz oder
Maschinelles Lernen integrieren. Das Entscheidende dabei wird es sein, dass der
interdisziplinäre Charakter der Forschung gefördert wird und die Mittel nicht doch in
weitgehend monodisziplinären Unternehmungen münden.

Vor dem Hintergrund, dass es sich um eine internationale Herausforderung handelt, muss
auch geprüft werden, ob sich diese Thematik nicht auch in den großen
Digitalisierungsinitiativen auf europäischer Ebene, z.B. „Horizon 2020“ oder ERC,
niederschlagen sollte. Wenn die Forschungs- und Ausbildungsempfehlungen als Teil einer
länderübergreifenden Initiative innerhalb Europas verstanden werden, kann dies zu großen
Synergieeffekten führen und die Harmonisierung der europäischen Rechtsordnungen in
Bezug auf die Herausforderungen der Digitalisierung fördern.

8.1.3.2 Koordinierte Auftragsforschung
Von europäischer bzw. deutscher Seite sollte – nach Konsultation der betroffenen Kreise –
ein Forschungsplan (Roadmap) mit konkreter Zieldefinition über einen Zeitraum von
mindestens drei Jahren ausgearbeitet werden. Zudem sollte ein umfangreiches
Forschungsprogramm mit Auftragsforschung (Studien) zu Teilaspekten erstellt werden, das
durch eine koordinierende Instanz bzw. ein Expertengremium gesteuert wird. Wesentlich ist
die Einbindung von Gesetzgebern bzw. Ministerien als Bedarfsträger.

In regelmäßigen Konferenzen sollte der Abgleich der Ergebnisse bzw. die Fortentwicklung
der Forschungsfragen erfolgen. Die Resultate sollten kontinuierlich publiziert und
erfolgreiche Teilergebnisse von den Bedarfsträgern (probeweise) implementiert werden.



308
     So etwa Harkens 2018. Als Beispiel zur cost-benefit Analyse von algorithmischer Entscheidung
siehe etwa Corbett-Davies, Sam, et al. "Algorithmic decision making and the cost of fairness."
Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data
Mining. ACM, 2017.
309
    In diese Richtung etwa auch Wischmeyer, AöR 2018, 1, 25.


                                              170

Gutachten:
                                                    Technische und rechtliche Betrachtungen
                                                     algorithmischer Entscheidungsverfahren




8.1.4 Technische Standards
8.1.4.1 Protokollierung von Prozessen
Der Bericht skizziert den Stand der Forschung im Bereich Erklärbarkeit von ADM-Systemen.
Diese Systeme sind eingebettet in komplexe Prozesse, in denen sie entwickelt und
weiterentwickelt werden. Die Protokollierung der Abläufe ist notwendig, um das
Gesamtverhalten des ADM-Systems zu verstehen.

Gerade für Algorithmen, die über sensible Lebensbereiche entscheiden, ist es durchaus
denkbar,   dass     es    standardisierte   Prüfprotokolle, Anforderungslisten    und
Systembeschreibungen gibt, die während des Erstellungsprozesses angelegt werden
müssen. In anderen Branchen ist es üblich, dass solche Dokumente vorhanden sind,
insbesondere wenn es um den Schutz von Menschen und der Umwelt geht.

8.1.4.2 Entwicklung von Test- und Auditverfahren für ADM-Systeme
Das Testen von ADM-Systemen ist nach den Ergebnissen der Studie ein
erfolgversprechendes Mittel zur Qualitätssicherung solcher Systeme und zum Schutz vor
fehlerhaften algorithmischen Entscheidungen. Jedoch fehlt es derzeit weitgehend an
anerkannten Test- und Auditverfahren.

Es ist daher dringend notwendig, die Entwicklung von Testverfahren für ADM-Systeme
voranzutreiben, etwa durch entsprechende Forschungs- und Entwicklungsanstrengungen.

Weiterhin erforderlich ist die Festlegung qualitativer Standards für Testverfahren, da
rechtliche Folgen nur an verlässliche Tests geknüpft werden können.

Damit eng verbunden ist auch die Auditierung der ADM-Systeme. Die Prüfprotokolle, die
während einer Auditierung verwendet werden, sollten sich auf die jeweilige Domäne
beziehen. Es müssen Erfahrungen gesammelt werden, damit dieses Auditing effizient
durchgeführt werden kann.

Die Studie beschreibt ausführlich die Grundlagen und Herausforderungen des Auditings von
ADM-Systemen und erörtert, wie diese Anwendung im Rahmen von Regulierung und
Aufsicht finden können. Auditierung in Kombination mit Testverfahren, z.B. Metamorphic
Testing, kann zur effizienten Überprüfung von ADM-Systemen eingesetzt werden.

8.1.4.3 Standardisierte Schnittstellen
ADM-Systeme brauchen wohldefinierte Schnittstellen, damit sie nach außen ohne großen
Aufwand abgefragt werden können. Dies muss nicht notwendigerweise bedeuten, dass
diese Schnittstellen für jeden offen und zugänglich sind. Im Falle eines Audits oder einer
Überprüfung des Verhaltens durch einen Testdatensatz muss eine technische Schnittstelle
zur Verfügung stehen. Um die oben erwähnte effiziente Abfrage zu ermöglich, ist es darüber
hinaus notwendig, dass diese klar definiert ist.

Die Definition der Schnittstelle muss noch expliziter untersucht und ausgearbeitet werden.
Einerseits muss sie konkret genug sein, damit sie hilfreich ist, andererseits sollte sie
generisch sein, damit sie auch für zukünftige Anwendungen noch verwendet werden kann.
Neben der technischen Standardisierung dieser Schnittstellen ist deren Bereitstellung und
Mindestfunktionalität mit den Regulierungsmaßnahmen abzustimmen, zu verzahnen und



                                           171

Gutachten:
                                                     Technische und rechtliche Betrachtungen
                                                      algorithmischer Entscheidungsverfahren




durch ein qualifiziertes Gremium anhand der wissenschaftlichen Entwicklung kontinuierlich
zu verbessern und weiterzuentwickeln.



8.2 Organisatorische Maßnahmen
Für den Schutz gegen problematische algorithmische Entscheidungen sind tatsächliche
Maßnahmen von großer Bedeutung, die hier in Abgrenzung zur Forschung und
Gesetzgebung als „organisatorische“ Maßnahmen bezeichnet werden. Wesentliche
Maßnahmen sind die Aufklärung und Information (siehe Kapitel 8.2.1) und die Errichtung
einer staatlichen Stelle mit Zuständigkeit für ADM-Systeme (siehe Kapitel 8.2.2).

8.2.1 Aufklärung, Information und Beratung
Mit fortschreitender technischer Entwicklung wird auch der Einsatz maschineller
Lernverfahren immer einfacher; fertige Frameworks ermöglichen die erfolgreiche
Anwendung solcher Verfahren auch mit allenfalls oberflächlichen Informatik- und
Statistikkenntnissen. Die Vermeidung unrichtiger, weil beispielsweise diskriminierender
Entscheidungen erfordert nach heutigem Stand jedoch Spezialwissen. Daher kommt der
Vermittlung von Wissen eine entscheidende Rolle zu – sowohl betreffend die rechtlichen
Anforderungen (soweit sie bereits ausreichend geklärt sind) als auch betreffend die
technischen Umsetzungs- und Überprüfungsmöglichkeiten. Mit wachsendem Bewusstsein
für die Problematik fehlerhafter algorithmischer Entscheidungen sehen wir auch eine
wachsende Nachfrage nach entsprechenden Informationen, die es zu befriedigen gilt.

8.2.1.1 Aufklärung und Beratung als staatliche Aufgabe
Um dies zu erreichen, reicht es nicht aus, bei der Ausbildung anzusetzen; Informationen
sollten auch kurzfristig zur Verfügung gestellt werden. Angesichts der wachsenden
Bedeutung algorithmischer Entscheidungen sollte erwogen werden, dies zumindest teilweise
als staatliche Aufgabe anzusehen. Ähnlich wie es die Datenschutzbeauftragten des Bundes
und der Länder oder das Bundesamt für Sicherheit in der Informationstechnik in ihrem
jeweiligen Aufgabenbereich tun, könnte auch die Beratung und Aufklärung über Probleme
algorithmischer Entscheidungen durch staatliche Stellen übernommen werden. Auf die
institutionellen Aspekte gehen wir in Kapitel 8.2.2 näher ein.

Der Einsatz von Algorithmen stößt derzeit noch auf viel Unwissen.310 In den Medien werden
viele Anwendungen beschrieben, aber das Bewusstsein und das Gewahrsein in der
Bevölkerung sind noch kaum vorhanden. Hier ist wesentliche Informations- und
Aufklärungsarbeit zu leisten. Des Weiteren wird es nötig sein, aufgrund fremder und eigener
Forschungen Grundlagen für diese Zwecke zu erarbeiten bzw. aufzubereiten.

Wenn Regierungen, Behörden und Unternehmen ADM einsetzen, so stellt sich die Frage
des gesellschaftlichen Entscheidungsprozesses. Grundsätzlich wird der Einsatz befürwortet,
weil ADM konsistenter als Menschen arbeitet, mit der Komplexität besser umgehen kann
und effizienter ist.




310
      Krüger/Lischka 2018.


                                           172