gi-studie-algorithmenregulierung
Dieses Dokument ist Teil der Anfrage „Gutachten des Sachverständigenrats für Verbraucherfragen“
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
Pasquale, F. (2015): The black box society: The secret algorithms that control money and
information. Harvard University Press.
Pasquale, F. (2010): Beyond innovation and competition: The need for qualified
transparency in internet intermediaries. Northwest University Law Review 104, 105.
Pasquale, F., (2010): Reputation Regulation: Disclosure and the Challenge of Clandestinely
Commensurating Computing, in The Offensive Internet: Speech, Privacy, and Reputation,
ed. Levmore, S. and Nussbaum, M.C., Cambridge, MA: Harvard University Press.
Pedreshi, D., Ruggieri, S., Turini, F. (2008): Discrimination-aware data mining. In
Proceedings of the 14th ACM SIGKDD international conference on Knowledge discovery
and data mining (KDD '08). ACM, New York, NY, USA, 560-568 [https://doi.org/
10.1145/1401890.1401959].
Quinlan, J. R. (1993): C4.5: Programs for Machine Learning. Morgan Kaufmann Publishers.
Raina, R., Madhavan, A., Ng, A.Y. (2009): Large-scale deep unsupervised learning using
graphics processors. In Proceedings of the 26th annual international conference on machine
learning, 873-880, ACM.
Rezac, M., Rezac, F. (2011): How to measure the quality of credit scoring models. Finance a
úver - Czech Journal of Economics and Finance, 61 (5), 486.
Rice, L., Swesnik, D. (2013): Discriminatory effects of credit scoring on communities of color.
Suffolk University Law Review 46, 935.
Ridsdale, C., Rothwell, J., Smit, M., (2015): Strategies and Best Practices for Data Literacy
Education: Knowledge Synthesis Report, Dalhousie University, Canada.
Rixecker, R., Säcker, F. J., Oetker, H. (Hrsg.) (2012): Münchener Kommentar zum BGB.
(Beck: München) (zitiert als MüKoBGB).
Ribeiro, Ma. T., Singh, S., Guestrin, C. (2016): Why should I trust you? Explaining the
predictions of any classifier. Proceedings of the 22nd ACM SIGKDD International
Conference on Knowledge Discovery and Data Mining.
Rodrigues, R., Wright, D., Wadhwa, K. (2013): Developing a privacy seal scheme (that
works). International Data Privacy Law, 3, 100-116.
Rohde, N. (2018): Gütekriterien für algorithmische Prozesse. Eine Stärken- und
Schwächenanalyse ausgewählter Forderungskataloge. Arbeitspapier. Bertelsmann Stiftung.
Russell, S. J., Norvig, P. (2010): Artificial intelligence: a modern approach. Pearson
Education Limited, Malaysia.
Sandvig, C., Hamilton, K., Karahalios, K., Langbort, C. (2014): Auditing algorithms:
Research methods for detecting discrimination on internet platforms. Data and
discrimination: converting critical concerns into productive inquiry, 1-23.
Schaerer, E., Kelley, R., Nicolescu, M. (2009): Robots as animals: A framework for liability
and responsibility in human-robot interactions. Robot and Human Interactive
Communication, September 2009. RO-MAN 2009. The 18th IEEE International Symposium.
185
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
Shneiderman, B. (2016): Opinion: The dangers of faulty, biased, or malicious algorithms
requires independent oversight, Proceedings of the National Academy of Sciences, Nov
2016, 113 (48) 13538-13540.
Siegel, E. (2013): Predictive Analytics: The Power to Predict Who Will Click, Buy, Lie, or Die,
Wiley.
Siems, M. M. (2005): Numerical comparative law: do we need statistical evidence in law in
order to reduce complexity. Cardozo Journal of International and Comparative Law, 13, 521.
Simitis, S. (Hrsg.) (2014): Bundesdatenschutzgesetz, 8. Aufl. 2014.
Steiner, C. (2013): Automate This: How Algorithms Took Over Our Markets, Our Jobs, and
the World. Portfolio.
Stucke, M.E., Ezrachi, A. (2017): How Digital Assistants Can Harm Our Economy, Privacy,
And Democracy. Berkeley Technology Law Journal, 32(3).
Szollosy, M. (2017): Robots, AI, and the question of ‘e-persons’-a panel at the 2017 Science
in Public conference, 10-12 July 2017. Journal of Science Communication, 16(4).
Taeger, J. (2014): Anmerkung zu einer Entscheidung des BGH vom 28.01.2014 (VI ZR
156/13; MMR 2014, 489) - Zum Umfang einer von der Schufa zu erteilenden Auskunft, MMR
2014, S. 492-494.
Teubner, G. (1998): Legal irritants: good faith in British law or how unifying law ends up in
new divergences. The Modern Law Review, 61.1, 11-32.
Tene, O., Polonetsky, J. (2012): Big data for all: Privacy and user control in the age of
analytics. Northwestern Journal of Technology and Intellectual Property, 11, 239.
Thelisson, E., Padh, K., Celis, L. E (2017): Regulatory Mechanisms and Algorithms towards
Trust in AI/ML. In IJCAI-17 Workshop on Explainable AI (XAI) (p. 53).
Tutt, A. (2017): An FDA for Algorithms, Administrative Law Review 69, 83.
Veale, M., Binns, R. (2017): Fairer machine learning in the real world: Mitigating
discrimination without collecting sensitive data. Big Data & Society, 4(2).
Veale, M., Van Kleek, M., Binns, R. (2018, April): Fairness and Accountability Design Needs
for Algorithmic Support in High-Stakes Public Sector Decision-Making. In Proceedings of the
ACM Conference on Human Factors in Computing Systems. ACM.
Wachter-Boettcher, S. (2017): Technically Wrong: Sexist Apps, Biased Algorithms, and
Other Threats of Toxic Tech. WW Norton & Company.
Waltl, B., Vogl, R. (2018): Explainable AI or how to prepare Legal Informatics for the Next
Wave of Artificial Intelligence, IRIS: Internationales Rechtsinformatik Symposium, Salzburg,
Austria.
Wang, Z., Wang, X. (2017): Big Data in healthcare in China: Applications, obstacles, and
suggestions. Frontiers in Data Science, 355.
186
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
Watson, A. (1996): Aspects of reception of law. The American Journal of Comparative Law
44 (2): 335-351.
Webber, M., Car, T. (2016): Looking at Europe from the USA: Current perspectives on data
protection. Journal of Data Protection & Privacy 1 (1), 76-88.
Williams, R., Edge, D. (1996): The Social Shaping of Technology, Research Policy 25, 856-
899.
Wischmeyer, Thomas (2018): Regulierung intelligenter Systeme, Archiv des öffentlichen
Rechts, 143, 1-66.
Wolff, H. A., Brink, S (Hrsg.) (2013): Beck’scher Online-Kommentar Datenschutzrecht.
(Beck, München) (zitiert als BeckOK DatenschutzR).
Wolfie, C. (2017): How Companies Use Personal Data Against People: Automated
Disadvantage, Personalized Persuasion, and the Societal Ramifications of the Commercial
Use of Personal Information; Cracked Labs Working paper, Vienna.
Zhao, J., Wang, T., Yatskar, M., Ordonez, V., Chang, K. W. (2017): Men also like shopping:
Reducing gender bias amplification using corpus-level constraints. Proceedings of the 2017
Conference on Empirical Methods in Natural Language Processing (EMNLP) 2017, 2941-
2951, ACL 2017 [https://bit.ly/2QhofsX]. arXiv preprint arXiv:1707.09457.
Žliobaitė, I., Custers B. (2016): Using sensitive personal data may be necessary for avoiding
discrimination in data-driven decision models. Artificial Intelligence and Law 24, no. 2, 183-
201.
9.2 Regierungs- und Konsultationsdokumente, Berichte, Urteile
ACLU Press Release: ACLU Challenges Computer Crimes Law That is Thwarting Research
on Discrimination, Online Aug. 2016.
American Bankers Association: More Really Is Less: The Data Fog Frustrates HMDA, April
2017, https://www.aba.com/Advocacy/Documents/HMDAWhitePaper2017.pdf.
Anhörungen der United States House of Representatives Committee on Energy and
Commerce Subcommittee on Digital Commerce and Consumer Protection: „Algorithms: How
Companies’ Decisions About Data and Content Impact Consumers“, November 29, 2017.
Australian Government Productivity Commission: Productivity Commission Draft Report:
Data Availability and Use, October 2016 [https://bit.ly/2QkzJM2].
BAG, Urteil vom 27. Januar 2011 - 8 AZR 483/09 -, juris.bundesarbeitsgericht.de.
BT-Drucksache 16/1780: Entwurf eines Gesetzes zur Umsetzung europäischer Richtlinien
zur Verwirklichung des Grundsatzes der Gleichbehandlung, 8. Juni 2006 [https://
bit.ly/2yMWL4e].
Board Of Governors Of The Federal Reserve System Washington, Sr 11-7: Guidance on
Model Risk Management, 4.4.2011.
187
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
Bryson, J. Testimony for the House of Lords Select Committee on Artificial Intelligence.
Bundesanstalt für Finanzdienstleistungsaufsicht (2018): Big Data trifft auf künstliche
Intelligenz. Herausforderungen und Implikationen für Aufsicht und Regulierung von
Finanzdienstleistungen.
BVerfG, Beschluss des Zweiten Senats vom 18. Juni 2008 - 2 BvL 6/07 -, BVerfGE 121,
241.
BVerfG, Beschluss des Ersten Senats vom 11. April 2018 - 1 BvR 3080/09 -, www.bverfg.de.
Chopin and Germaine, „A comparative analysis of non-discrimination law in Europe 2015”
(Report for DG Justice and Consumers, 2016.
EuGH, Urteil vom 6. Dezember 2007, Rs. C-300/06, Slg. 2007, I-10573 – Voß.
Executive Office of the President of the United States (Council of Economic Advisors): Big
Data and Differential Pricing, 2015 [https://bit.ly/2xRYC7R].
FAT/ML Principles for Accountable Algorithms and a Social Impact Statement for Algorithms.
Federal Trade Commission Forum, fintech Series: Marketplace Lending, June 9, 2016.
Federal Trade Commission, Protecting Consumer Privacy in an Era of Rapid Change:
Recommendations for Businesses and Policymakers (Mar. 2012).
Financial Conduct Authority: Feedback Statement FS16/5: Call for Inputs on Big Data in
retail general insurance, September 2016 [https://bit.ly/2NtzT5o].
Gosselin, S., Jones, A. and Martin A. (2017): Are Antitrust Laws Up to the Task? A US/EU
Perspective on Anti-Competitive Algorithm Behavior, Hausfeld LLP [https://bit.ly/2CCu8hu].
Grutter v. Bollinger, 539 U.S. 306 (2003).
McSweeny, T., Commissioner of the Federal Trade Commission: competition law: keeping
pace in a digital age 15.4.2016.
Milieu Ltd., „Comparative study on access to justice in gender equality and anti-
discrimination law“ (Report for DG Justice, 2011) [https://bit.ly/2x0dhiH].
New York City Council: A Local Law to amend the administrative code of the city of New
York, in relation to automated processing of data for the purposes of targeting services,
penalties, or policing to persons.
OECD Directorate For Financial And Enterprise Affairs Competition Committee: Algorithmic
Collusion: Problems and Counter-Measures.
Office of Fair Trading (2010). Online targeting of advertising and prices. A market study
[https://bit.ly/2wX4EWY].
Pasquale, F., written Testimony of Before the United States Senate Committee on Banking,
Housing, and Urban Affairs, „Exploring the Fintech Landscape“.
188
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
Pasquale, F., Before the United States House of Representatives Committee on Energy and
Commerce Subcommittee on Digital Commerce and Consumer Protection
[https://bit.ly/2MiBgPI].
Retail Credit Co. of Atlanta, Ga: Hearing Before a Subcommittee of the Committee on
Government Operations, 90th Cong. 44-45 (May 16, 1968).
Sullivan, D., A Letter to the FTC Regarding Search Engine Disclosure Compliance.
UK All-Party Parliamentary Group on Artificial Intelligence (APPG AI): Evidence meeting,
23.1.2018.
UK Government, All-Party Parliamentary Group on Artificial Intelligence [APPG AI]: Ethics
and Legal in AI: Decision Making and Moral Issues, 27.3.2017.
UK Government, Department for Department for Digital, Culture, Media & Sport and
Department for Business, Energy & Industrial Strategy: Growing the artificial intelligence
industry in the UK Oct 2017.
UK House of Commons, Science and Technology Committee (Commons)Algorithms in
decision-making inquiry, 23.1.2018.
UK House of Commons Science and Technology Committee: Commission for Robotics and
artificial intelligence, Oct 2016.
UK Information Commissioner’s Office: Royal Free – Google Deepmind trial failed to comply
with data protection law, July 3 (2017).
UK Information Commissioner’s Office: The Information Commissioner’s Office’s (ICO’s)
response to the Science and Technology Committee’s call for evidence on algorithms in
decision-making, 2017 [https://bit.ly/2CEpKhV].
UK Information Commissioner´s Office: Big data, artificial intelligence, machine learning and
data protection, Version 2.2, 2017 [https://bit.ly/2mF1kLj].
US Executive Office of the President and Jason Furman, John P. Holdren, Cecilia Muñoz,
Megan Smith and Jeffery Zients, „Artificial Intelligence, Automation, and the Economy“,
Technical report, National Science and Technology Council, Washington D.C. 20502,
October 2016.
US Department of Justice, „Algorithms and Collusion - Note by the United States“, OECD
Background Paper, Roundtable on Algorithms and Collusion, DAF/COMP/WD(2017)41,
June 2017.
US Federal Trade Commission, Big Data: A Tool For Inclusion or Exclusion (Jan. 2016).
US Public Policy Council (USACM) Statement on Algorithmic Transparency and
Accountability.
US Senate: 115th Congress 1st Session: To require the Secretary of Commerce to establish
the Federal Advisory Committee on the Development and Implementation of Artificial
Intelligence, and for other purposes.
189
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
New Zealand Human Rights Commission: Privacy, Data and Technology: Human Rights
Challenges in the Digital Age, May 2018 [https://bit.ly/2CB4iKY].
Ohlhausen, Maureen: „Should We Fear the Things That Go Beep in the Night? Some Initial
Thoughts on the Intersection of Antitrust Law and Algorithmic Pricing“, Remarks by the
Acting Chairman of the U.S. Federal Trade Commission at the “Concurrences Antitrust in the
Financial Sector Conference”, New York, May 23, 2017.
Vestager, M. (2017): Algorithms and Competition, Remarks by the European Commissioner
for Competition at the Bundeskartellamt 18th Conference on Competition, Berlin, March 16,
2017.
World Wide Web Foundation: Algorithmic Accountability: Applying the concept to different
country contexts, July 2017 [https://bit.ly/2O50iDC].
190
Gutachten:
Technische und rechtliche Betrachtungen
algorithmischer Entscheidungsverfahren
Autoren
Folgende Experten sind an der Erstellung dieser Studie beteiligt (in alphabetischer
Reihenfolge der Nachnamen):
Prof. Dr. Georg Borges ist Inhaber des Lehrstuhls für Bürgerliches Recht,
Rechtsinformatik, deutsches und internationales Wirtschaftsrecht sowie Rechtstheorie der
Universität des Saarlandes. Er ist Gründungsmitglied und Sprecher des Vorstands der
Arbeitsgruppe Identitätsschutz im Internet e.V. (a-i3), Vorstandsmitglied des Horst Görtz
Instituts für Sicherheit in der Informationstechnik der Ruhr-Universität Bochum und
ehemaliger Richter am Oberlandesgericht Hamm.
Dr. Matthias Grabmair ist Systems Scientist am Language Technologies Institute der
Carnegie Mellon University in Pittsburgh, USA. Er lehrt in einem Masterprogramm in
Computational Data Science und forscht im Bereich der Anwendung von Techniken aus
Artificial Intelligence, Natural Language Processing und Machine Learning auf juristische
Texte und Daten, insbesondere an berechenbaren Modellen juristischer Argumentation. Er
ist Mitglied im Editorial Board des Journal of Artificial Intelligence and Law.
Daniel Krupka ist Geschäftsführer der Gesellschaft für Informatik und Leiter der Berliner
Geschäftsstelle. Er verantwortet die Kommunikation, Öffentlichkeitsarbeit sowie den Kontakt
zu Politik, den Bundesministerien und den Partnern auf nationaler, europäischer und
internationaler Ebene.
Prof. Burkhard Schäfer ist Inhaber des Lehrstuhls Computational Legal Theory an der
Edinburgh Law School, University of Edinburgh. Er ist Mitglied der Management group of the
RCUK funded CREATE research network on the future of copyright in the digital economy
und hat mehr als 90 wissenschaftliche Beiträge in den Bereichen „legal expert system
design“, Semantic Web und Regulierung neuer Technologien veröffentlicht.
Prof. Mag. Dr. Dr. Erich Schweighofer ist außerordentlicher Universitätsprofessor an der
Universität Wien, Lehr- und Forschungstätigkeit in den Fächern Rechtsinformatik,
Völkerrecht und Europarecht, Leiter der Arbeitsgruppe Rechtsinformatik, Juridicum,
Universität Wien und Hauptorganisator des Internationalen Rechtsinformatik Symposions
IRIS [www.univie.ac.at/RI/IRIS2018]. Er ist Sprecher der Fachgruppe Rechtsinformatik der
GI bzw. OCG und Mitglied bei CEPIS LIS. Neben seiner Universitätstätigkeit hat er
langjährige Erfahrung in der Verwaltung (Außenministerium, Verwaltungsakademie des
Bundes, Europäische Kommission).
Prof. Dr.-Ing. Christoph Sorge ist Professor an der Rechtswissenschaftlichen Fakultät und
kooptierter Professor im Fachbereich Informatik der Universität des Saarlandes. Er ist Senior
Fellow des Deutschen Forschungsinstituts für Öffentliche Verwaltung Speyer, Autor von
über 60 wissenschaftlichen Veröffentlichungen in Informatik und Rechtswissenschaft und
Vorstandsmitglied des Deutschen EDV-Gerichtstags.
Bernhard Waltl ist wissenschaftlicher Mitarbeiter der TU München und forscht seit einigen
Jahren an der Schnittstelle zwischen Recht und Informatik mit Schwerpunkt Künstlicher
Intelligenz und Datenanalyse. Er ist Mitgründer des interdisziplinären Forschungsprogramms
„Lexalyze“ und arbeitet intensiv mit Juristen und Rechtswissenschaftlern zusammen.
191 ww.gi.de
Sachverständigenrat für Verbraucherfragen Der Sachverständigenrat für Verbraucherfragen ist ein Beratungsgremium des Bundes ministeriums der Justiz und für Verbraucherschutz (BMJV). Er wurde im November 2014 vom Bundesminister der Justiz und für Verbraucherschutz, Heiko Maas, eingerichtet. Der Sachverständigenrat für Verbraucherfragen soll auf der Basis wissenschaftlicher Erkenntnisse und unter Berücksichtigung der Erfahrungen aus der Praxis das Bundes ministerium der Justiz und für Verbraucherschutz bei der Gestaltung der Verbraucher politik unterstützen. Der Sachverständigenrat ist unabhängig und hat seinen Sitz in Berlin. Vorsitzende des Sachverständigenrats ist Prof. Dr. Lucia Reisch.
