Deutscher Bundestag                                                                    Drucksache   19/11351 19. Wahlperiode                                                                                        03.07.2019 Vorabfassung - wird durch die lektorierte Version ersetzt. Antwort der Bundesregierung auf die Kleine Anfrage der Abgeordneten Roman Müller-Böhm, Stephan Thomae, Grigorios Aggelidis, weiterer Abgeordneter und der Fraktion der FDP – Drucksache 19/10965 – Aussagen der Bundesministerin der Justiz und für Verbraucherschutz zur Algorithmenkontrolle Vorbemerkung der Fragesteller Die kürzlich zurückgetretene Bundesministerin der Justiz und für Verbraucher- schutz, Dr. Katarina Barley, hat am 24. Mai 2019 zu den Forderungen der Ver- braucherschutzministerkonferenz bezüglich einer Algorithmenkontrolle Stel- lung bezogen. Dabei betonte sie, dass das letzte Wort bei wichtigen Entschei- dungen immer der Mensch haben müsse. Gleichzeitig forderte die Bundesmi- nisterin Dr. Katarina Barley eine Überprüfbarkeit bei Entscheidungen, die Com- puter über Menschen treffen sowie eine stärkere Regulierung des Trackings auf europäischer Ebene (www.bmjv.de/SharedDocs/Zitate/DE/2019/052419_ Algorithmen.html;jsessionid=2522E98D37E43D92C4EC3FC2A04B0A56.1_ cid334). Fraglich ist, welche konkreten Maßnahmen aus den Aussagen der Bundesmi- nisterin, insbesondere nach ihrem Rücktritt, folgen. 1.   Inwiefern fühlt sich die Bundesregierung an die Aussagen und Forderungen der ehemaligen Bundesjustizministerin, Dr. Katarina Barley, hinsichtlich der Verbraucherschutzministerkonferenz (www.bmjv.de/SharedDocs/Zitate/DE/ 2019/052419_Algorithmen.html;jsessionid=2522E98D37E43D92C4EC3FC 2A04B0A56.1_cid334) auch nach ihrem Rücktritt gebunden? 2.   Inwiefern stimmt die Bundesregierung den Aussagen und Forderungen der ehemaligen Bundesjustizministerin, Dr. Katarina Barley, hinsichtlich der Verbraucherschutzministerkonferenz zu? Die Antwort wurde namens der Bundesregierung mit Schreiben des Bundesministeriums der Justiz und für Verbraucherschutz vom 2. Juli 2019 übermittelt. Die Drucksache enthält zusätzlich – in kleinerer Schrifttype – den Fragetext.

Drucksache 19/11351                                  –2–                  Deutscher Bundestag – 19. Wahlperiode Vorabfassung - wird durch die lektorierte Version ersetzt. 3.   Welche Maßnahmen folgen für die Bundesregierung im Allgemeinen und das Bundesministerium der Justiz und für Verbraucherschutz (BMJV) im Speziellen aus der Aussage der ehemaligen Bundesjustizministerin Dr. Katarina Barley, es brauche Transparenz und Überprüfbarkeit bei Ent- scheidungen, die Computer über Menschen treffen? 4.   Gab oder gibt es Bestrebungen oder Vorbereitungen innerhalb der Bundes- regierung im Allgemeinen und dem BMJV im Speziellen, eine Regulierung von Algorithmen hinsichtlich ihrer Transparenz, Nachvollziehbarkeit oder Überprüfbarkeit vorzunehmen? Wenn ja, welche? Die Fragen 1 bis 4 werden zusammen beantwortet. Algorithmen-basierte Entscheidungen bergen neben vorhandenen Chancen auch Risiken, etwa wenn damit die Verarbeitung von Verbraucherdaten verbunden ist und weil häufig die Anwendbarkeit eines Algorithmus die Bewertung von Per- sönlichkeitsmerkmalen voraussetzt sowie wenn Prognosen über das Verhalten von Verbrauchern erstellt werden. Algorithmen-basierte Entscheidungen können gesellschaftliche Ungleichheit festigen und Diskriminierungen fortschreiben, wenn in den der Entscheidung zugrunde liegenden Daten bereits Benachteiligun- gen angelegt sind. Hierdurch können insbesondere die Handlungsfreiheit, die Chancengleichheit und die Selbstbestimmung von Verbraucherinnen und Ver- brauchern gefährdet werden. Wenn Algorithmen darüber entscheiden, welche In- formationen welcher Person an welcher Stelle in sozialen Netzwerken angezeigt werden, kann dies Auswirkungen auf die Vielfalt von Informationen, den öffent- lichen Diskurs und damit auf den demokratischen Willensbildungsprozess haben. Vor diesem Hintergrund prüft die Bundesregierung, welche Maßnahmen auf na- tionaler und europäischer Ebene erforderlich sind. Die Bundesregierung hat im Herbst 2018 eine Datenethikkommission eingesetzt, die binnen eines Jahres ethi- sche Maßstäbe entwickeln sowie konkrete Regulierungsoptionen in den Berei- chen Umgang mit Daten, Algorithmen-basierte Entscheidungen und Künstliche Intelligenz vorschlagen soll. Die Leitfragen der Bundesregierung an die Daten- ethikkommission können hier abgerufen werden: www.bmjv.de/SharedDocs/Downloads/DE/Ministerium/ForschungUndWissenschaft/ DEK_Leitfragen.pdf?__blob=publicationFile&v=1 Die Datenethikkommission wird ihre Ergebnisse voraussichtlich am 23. Oktober 2019 der Bundesregierung vorstellen. Die Bundesregierung wird die Empfehlun- gen der Datenethikkommission abwarten, bevor sie ihre Prüfung möglichen ge- setzgeberischen Handlungsbedarfs abschließt. Im Rahmen ihrer Überlegungen werden auch die auf internationaler Ebene formulierten Prinzipien für die Ent- wicklung und Anwendung von Künstlicher Intelligenz einfließen. Hierzu gehören zum Beispiel die von der Organisation for Economic Co-operation and Develop- ment (OECD) verabschiedeten Empfehlungen, die unter anderem das Erfordernis der Menschenzentriertheit und Transparenz von KI-Anwendungen betonen.

Deutscher Bundestag – 19. Wahlperiode                  –3–                                 Drucksache 19/11351 Vorabfassung - wird durch die lektorierte Version ersetzt. 5.   Glaubt die Bundesregierung an die technische Umsetzbarkeit einer Überprü- fung von Algorithmen? a) Falls ja, inwiefern gilt dies auch für Systeme, die „maschinelles Lernen“ betreiben? b) Falls ja, wie stellt sich die Bundesregierung eine solche Überprüfung so- wohl in technischer Hinsicht als auch im Hinblick auf die behördliche Zu- ständigkeit vor? c) Falls nein, wie lässt sich dies mit den Aussagen der ehemaligen Bundes- justizministerin Dr. Katarina Barley vereinbaren? d) Welche Konsequenzen plant die Bundesregierung für Algorithmen, die sich (z. B. aufgrund ihres Aufbaus oder ihrer Komplexität) nicht kontrol- lieren lassen? Die Überprüfbarkeit von Algorithmen-basierten Entscheidungen und KI-Anwen- dungen ist eine wichtige Voraussetzung zum Schutz von Bürgerinnen und Bür- gern. Vor diesem Hintergrund hat die Bundesregierung die Datenethikkommis- sion auch darum gebeten, sich mit der Überprüfbarkeit von Algorithmen-basier- ten Entscheidungen und KI-Anwendungen zu befassen. Die Bundesregierung hat an die Datenethikkommission unter anderem folgende Leitfragen gerichtet:  Wie kann Verlässlichkeit, Reproduzierbarkeit und Überprüfbarkeit von Algo- rithmen-basierten-Entscheidungen gewährleistet werden?  Gibt es Grenzen des Einsatzes von Algorithmen-basierten Entscheidungen, wenn Einsatz und Kriterien den betroffenen Menschen nicht erklärt werden können?  Sind Testmethoden möglich, die selbstlernende Algorithmen-basierte Ent- scheidungen überprüfbar machen? Die technische Umsetzung einer Überprüfbarkeit von Algorithmen-basierten Ent- scheidungen und KI-Anwendungen ist Gegenstand der wissenschaftlichen De- batte. Dabei steht gerade auch die Überprüfung von selbstlernenden Systemen im Mittelpunkt der Forschung. Diese hat inzwischen diverse Lösungsansätze ent- wickelt, so zum Beispiel den „Counterfactual Explanations“-Ansatz, bei dem der Input variiert wird, um herauszufinden, ab welcher Abweichung des Inputs ein anderes Ergebnis erzielt würde, oder der „Layer-wise Relevance Propaga- tion“-Ansatz, bei dem – grob vereinfacht – ein KI-Prozess rückwärts vom Output zum Input simuliert wird, um zu ermitteln, inwieweit einzelne neuronalen Schich- ten für die Entscheidung relevant geworden sind. Die Datenethikkommission soll sich entsprechend der Leitfragen zudem damit befassen, wie Algorithmen-basierte Entscheidungen und KI-Anwendungen be- aufsichtigt werden können. Die Bundesregierung wird die Empfehlungen der Da- tenethikkommission abwarten, bevor sie ihre Prüfung des möglichen Handlungs- bedarfs auch in Bezug auf behördliche Zuständigkeiten abschließt.

Drucksache 19/11351                                    –4–                   Deutscher Bundestag – 19. Wahlperiode Vorabfassung - wird durch die lektorierte Version ersetzt. 6.   Welche Maßnahmen folgen für die Bundesregierung im Allgemeinen und das BMJV im Speziellen aus der Aussage der ehemaligen Bundesjustizmi- nisterin Dr. Katarina Barley, der Mensch müsse bei wichtigen Entscheidun- gen immer das letzte Wort haben? a) Plant die Bundesregierung, diese Forderung gesetzlich zu statuieren? Wenn ja, wann plant die Bundesregierung die Einbringung eines entspre- chenden Gesetzentwurfs in den Deutschen Bundestag? b) Welche Entscheidungen sind aus Sicht der Bundesregierung „wichtige Entscheidungen“, bei denen der Mensch das letzte Wort haben solle? Mit der Aussage, der Mensch müsse bei wichtigen Entscheidungen immer das letzte Wort haben, wird ein wesentlicher Grundwert unserer Gesellschaftsord- nung zum Ausdruck gebracht. Dieser Grundwert ist mit dem grundsätzlichen Ver- bot der automatisierten Einzelfallentscheidung bereits in Artikel 22 DSGVO an- gelegt. Auch die Prinzipien der OECD zur Entwicklung und Anwendung von Künstlicher Intelligenz betonen die Bedeutung der Menschenzentriertheit von KI-Anwendungen. Zudem folgt bereits aus dem Grundgesetz, das der Mensch nicht zum bloßen Objekt von Maschinen-Entscheidungen werden darf. Im Übri- gen wird auf die Antwort zu den Fragen 1 bis 4 verwiesen. 7.   Inwiefern findet nach Ansicht der Bundesregierung, wie von der ehemaligen Bundesjustizministerin geäußert, eine „Manipulation des Einzelnen“ durch Algorithmen statt? a) Welche Fälle von Manipulation des Einzelnen durch Algorithmen sind der Bundesregierung bekannt? b) Welche Fälle, bei denen Algorithmen die Auswahl von Ärzten vorbe- stimmt haben, sind der Bundesregierung bekannt? c) Welche Fälle, bei denen Algorithmen die Jobsuche vorbestimmt haben, sind der Bundesregierung bekannt? d) Welche Fälle, bei denen Algorithmen die Partnersuche vorbestimmt ha- ben, sind der Bundesregierung bekannt? e) Falls nein, wie lässt sich dies mit den Aussagen der Bundesministerin Dr. Katarina Barley auf der Homepage des BMJV vereinbaren? Die Möglichkeiten durch Big-Data-Analysen Prognosen über zukünftiges menschliches Verhalten zu erstellen, nehmen stetig zu. Dadurch steigt das Risiko weitreichender Vorfestlegungen und von ungerechtfertigten Benachteiligungen. Dieses Risiko ist umso problematischer, je sensibler der betroffene Lebensbereich ist, z. B. bei Entscheidungen zur privaten Lebensgestaltung oder zu gesundheitli- chen oder beruflichen Fragen. Software zur Bewerberauswahl, die eine automa- tisierte Vorauswahl mit Hilfe von Online-Persönlichkeitstests vornimmt, kann zur Folge haben, dass Bewerberinnen und Bewerber zu einem frühen Zeitpunkt allein deswegen aus dem Bewerbungsprozess ausscheiden, weil sie bestimmte Kriterien erfüllen, die von der Algorithmen-basierten Entscheidung negativ be- wertet werden, obwohl diese Kriterien keine Rückschlüsse auf die berufliche Qualifikation zulassen.

Deutscher Bundestag – 19. Wahlperiode                  –5–                                 Drucksache 19/11351 Vorabfassung - wird durch die lektorierte Version ersetzt. 8.   Teilt die Bundesregierung die Auffassung der ehemaligen Bundesjustizmi- nisterin, dass das Tracking auf europäischer Ebene stärker reguliert werden müsse? a) Inwiefern hat die Bundesregierung sich bereits für eine stärkere Regulie- rung des Trackings auf europäischer Ebene eingesetzt? b) Inwiefern wird sich die Bundesregierung für eine stärkere Regulierung des Trackings auf europäischer Ebene einsetzen? c) Falls nein, wie lässt sich dies mit den Aussagen der Bundesministerin Dr. Katarina Barley auf der Homepage des BMJV vereinbaren? 9.   Welche Maßnahmen folgen für die Bundesregierung im Allgemeinen und das BMJV im Speziellen aus der Aussage der ehemaligen Bundesjustizmi- nisterin Dr. Katarina Barley, es brauche noch konkretere Regelungen für die elektronische Kommunikation in der E-Privacy-Verordnung? a) Welchen konkreteren Regelungsbedarf sieht die Bundesregierung? b) Inwiefern hat die Bundesregierung sich bereits für konkretere Regelungen eingesetzt? c) Inwiefern wird die Bundesregierung sich für konkretere Regelungen ein- setzen? Die Fragen 8 und 9 werden wegen des Sachzusammenhangs gemeinsam beant- wortet. Die Bundesregierung weist darauf hin, dass es sich beim „Tracking“ um einen rechtlich nicht definierten Begriff handelt. In der politischen Diskussion wird das Tracking eines Nutzers in Internet und digitaler Welt als die Erfassung und Spei- cherung des kompletten Verhaltens und der Interaktionen eines Nutzers bei Nut- zung eines vernetzten Geräts oder eines Dienstes verstanden. Dies kann insbeson- dere die Interaktionen mit einer Webseite (z. B. Nachrichtenseite oder soziales Netzwerk), die Surfhistorie, die Kommunikation über webbasierte E-Mail- und Messengerdienste, die Verweildauer auf einer Webseite, die Art und Weise des Eintippens oder die Lesegeschwindigkeit umfassen. Bei Nutzung eines mobilen vernetzten Endgerätes können zusätzlich Informationen über den geografischen Standort und über Uhrzeit, Datum und Dauer eines Anrufs hinzukommen. Aus diesen Tracking-Daten können mittels Profiling präzise Schlussfolgerungen über eine Person gezogen werden. Die Tracking-Daten und die daraus mittels Profiling ermittelten Schlussfolgerungen sind häufig die Basis sowohl für die Erstellung von Algorithmen als auch für die profilabhängige Anwendung eines Algorithmus auf den einzelnen Nutzer. Die Erfassung und Verarbeitung von personenbezoge- nen Daten bei der Nutzung von vernetzten Geräten in Internet und digitaler Welt ist in der EU-Datenschutz-Grundverordnung geregelt sowie, wenn das Tracking auf der Speicherung von Informationen oder dem Zugriff auf Informationen im Endgerät eines Nutzers, z. B. mittels Cookies, basiert, in den E-Privacy-Regelun- gen. Nach Artikel 5 Absatz 3 der geltenden ePrivacy-Richtlinie (Richtlinie 2002/ 58/EG in der durch die Richtlinie 2009/136/EG geänderten Fassung) dürfen Ge- räte-Identifier wie Cookies grundsätzlich nur mit Einwilligung des Nutzers ver- wendet werden, es sei denn, solche Verfahren sind aus bestimmten Gründen tech- nisch erforderlich. Artikel 8 des Entwurfs einer ePrivacy-Veordnung, über die derzeit im Rat verhandelt wird, erlaubt nach der gegenwärtigen im Rat verhan- delten Fassung ohne die Einwilligung des Endnutzers nur in engen Grenzen, dass auf dessen Endeinrichtungen durch Dritte zugegriffen werden darf, um dort In- formationen zu speichern und abzurufen. Die Speicherung von Informationen

Drucksache 19/11351                               –6–                  Deutscher Bundestag – 19. Wahlperiode Vorabfassung - wird durch die lektorierte Version ersetzt. oder der Zugriff auf Informationen im Endgerät zum Zwecke des Tracking gehört nicht zu den Tätigkeiten, für die auf Endeinrichtungen des Endnutzers ohne des- sen Einwilligung zugegriffen werden darf. Die Bundesregierung hat sich im Rat im Rahmen der laufenden Verhandlungen zur ePrivacy-Verordnung dafür einge- setzt, dass die von der Kommission vorgeschlagene Regelung des Artikels 8 nicht abgeschwächt wird. Sie setzt sich darüber hinaus dafür ein, dass eine Regelung zu den Einstellungen zum Schutz der Privatsphäre bei Internetbrowsern in die zukünftige Verordnung aufgenommen wird. Eine solche Regelung, die sicherstel- len soll, dass Endnutzer ihre Privatsphäre über entsprechende Einstellungen in der Browsersoftware bewusst und wirksam schützen, war in dem ursprünglichen Vorschlag der Kommission enthalten. Die Bundesregierung hat dazu einen kon- kreten Vorschlag vorgelegt. Die Bestimmungen der geltenden ePrivacy-Richtlinie bzw. der zukünftigen ePrivacy-Verordnung regeln jedoch nicht die nachfolgende Verarbeitung perso- nenbezogener Daten, die im Rahmen eines nach den E-Privacy-Regelungen zu- lässigen Zugriffs auf Informationen in Endeinrichtungen erhoben werden. Die Rechtmäßigkeit dieser Datenverarbeitung beurteilt sich nach der Datenschutz- Grundverordnung. Ob die Geschehnisse um das Unternehmen Cambridge Ana- lytica, auf die die Bundesministerin der Justiz und für Verbraucherschutz in dem genannten Zitat Bezug nimmt, weitere Regelungen in der Datenschutz-Grundver- ordnung zum Schutz der Nutzerinnen und Nutzer von Internet und vernetzten Ge- räten erfordern, bedarf weiterer Prüfung, insbesondere von Regelungen zur Pro- filbildung und zur weiteren Stärkung der Betroffenenrechte. Die Bundesregie- rung weist dazu als nächsten Schritt auf den Bericht über die Bewertung und Überprüfung dieser Verordnung hin, den die Europäische Kommission bis zum 25. Mai 2020 dem Europäischen Parlament und dem Rat vorlegen muss (Arti- kel 97 DSGVO). Was die in der Frage angesprochenen konkreteren Regelungen in der gegen- wärtig beratenen E-Privacy-Verordnung und die entsprechenden Stellungnahmen der Bundesregierung betrifft, wird auf die Antwort der Bundesregierung zu der Frage 5e der Kleinen Anfrage der Fraktion DIE LINKE. betreffend Verhandlun- gen über den Datenschutz in der elektronischen Kommunikation (ePrivacy-Re- form) auf Bundestagsdrucksache 19/6709 verwiesen. Auf der Tagung des Rates der EU (Telekommunikation) am 7. Juni 2019 in Luxemburg hat sich Deutsch- land dahingehend geäußert, dass die e-Privacy-VO ein hohes, über die DSGVO hinausreichendes Schutzniveau gewährleisten müsse. Der vorliegende Text errei- che dies nicht, weshalb Deutschland diesen nicht unterstützen könne. Änderun- gen seien nötig, speziell bei Artikel 6 bezüglich der „kompatiblen Weiterverar- beitung“. Außerdem setze man sich für einen Erhalt von Artikel 10 ein. DEU würde ein rasches Fortschreiten der Verhandlungen begrüßen.

Satz: Satzweiss.com Print, Web, Software GmbH, Mainzer Straße 116, 66121 Saarbrücken, www.satzweiss.com Druck: Printsystem GmbH, Schafwäsche 1-3, 71296 Heimsheim, www.printsystem.de Vertrieb: Bundesanzeiger Verlag GmbH, Postfach 10 05 34, 50445 Köln, Telefon (02 21) 97 66 83 40, Fax (02 21) 97 66 83 44, www.betrifft-gesetze.de ISSN 0722-8333