DESAFÍOS Y RETOS QUE PLANTEAN LAS DECISIONES AUTOMATIZADAS Y LOS PERFILADOS PARA LOS DERECHOS FUNDAMENTALES

Challenges posed by automated decisions and profiling for fundamental rights

Josu Andoni Eguíluz Castañeira

Universidad de Deusto

Josuaneguiluz@opendeusto.es

http://dx.doi.org/10.18543/ed-68(2)-2020pp325-367

Recibido: 23.11.2020

Aceptado: 14.12.2020

Resumen

En una sociedad eminentemente tecnológica, las decisiones automatizadas y los perfilados se presentan como auténticos desafíos para el Derecho. Potenciales sesgos, predicciones de comportamientos y efectos discriminatorios pueden suponer claros riesgos para los derechos fundamentales. En este contexto, se analiza la nueva realidad de la discriminación algorítmica en el marco de la Inteligencia Artificial, los algoritmos y el Machine Learning; y cómo el legislador y los tribunales están optando por aportar una visión garantista a este reto en la era del Big Data. En este trabajo se someten a estudio los déficits y puntos fuertes de la legislación vigente, atendiendo al examen de casos paradigmáticos que formarán los inicios de una construcción jurisprudencial pionera y adaptada a las amenazas latentes de los nuevos y algorítmicos tiempos.

Palabras clave

decisiones automatizadas, perfilado, derechos fundamentales, IA, algoritmos, machine learning, discriminación algorítmica, Big Data.

Abstract

In an eminently technological society, automated decisions and profiling are presented as real challenges to Law. Potential biases, behavior predictions and discriminatory effects that pose clear risks for fundamental rights. In this context, this work analyzes the new reality of algorithmic discrimination in the framework of Artificial Intelligence, algorithms and Machine Learning, and how the lawmaker and the courts are choosing to provide a protective vision to this challenge in the era of Big Data. In this work, we study weaknesses and strengths of current legislation, taking into account and examinating some of the most paradigmatic cases that would form the foundations of a pioneering jurisprudential construction adapted to the latent threats of the new and algorithmic times.

Keywords

automated decisions, profiling, fundamental rights, AI, algorithms, machine learning, algorithmic, discrimination, Big Data

Sumario: I. Introducción. II. Una definición conceptual previa: los elementos constitutivos del debate (BIG DATA, IA, ML). 1. Big Data. 2. Algoritmos e IA («Machine Learning»). III. Instrumentos jurídicos para combatir la discriminación algorítmica. 1. El principio de no discriminación. 2. El RGPD y derecho a la protección de los datos. 2.1. Decisiones algorítmicas automatizadas y el artículo 2.2. RGPD. IV. Cómo funciona la discriminación algorítmica. V. Estudio del impacto de las decisiones automatizadas y los perfilados. 1. Impacto del uso de algoritmos y perfilados por poderes públicos. 2. Otros desafíos inminentes. VI. Conclusiones. Bibliografía.

A mi director, Joserra.

A mi padre, Andoni.

I. INTRODUCCIÓN

Este trabajo nace en el contexto de una pandemia mundial y una sociedad confinada, donde la posibilidad de acceder a ingentes cantidades de datos de la manera más veloz y organizada posible es poder. El recurso más valioso del mundo en el siglo XXI ya no es el petróleo, sino los datos. En este sentido, nos recuerda HARARI que en la actualidad tener el poder no solo significa la capacidad de acceder a los datos, sino también saber cuáles obviar[1].

Gobiernos, instituciones, multinacionales y empresarios se posicionan en la gran batalla por controlar, administrar y extraer el valor de los datos, puesto que los datos son el umbral a la nueva forma de concebir el mundo y los cambios que vendrán. Y es por esta razón, que la tensión y conflicto entre el uso de las nuevas tecnologías y los derechos fundamentales, requiere de un equilibrado y sosegado debate en nuestros días. Que nuestra sociedad esté experimentando una profunda transformación a marchas forzadas, no quiere decir que debamos doblegarnos sin cultivar espíritu crítico: siempre será necesario ejercer la templanza y el raciocinio para construir una sociedad que destierre discriminación, abusos e injusticia.

Es por todo esto que en este trabajo abordaremos los desafíos jurídicos de las decisiones automatizadas y los perfilados, estudiando qué son y en qué consisten las tecnologías que propician estos conceptos, cuáles son los instrumentos jurídicos disponibles para combatir sus efectos perjudiciales y el fenómeno que comienza a atisbarse como discriminación algorítmica, cómo funciona el proceso discriminatorio de las toma de decisiones automatizadas y cuál es su modus operandi, así como el estudio de asuntos pioneros relacionados con algoritmos y confección de perfiles y cómo los tribunales se están enfrentando a ellos y aportando soluciones.

En el primer capítulo, realizaremos una breve presentación conceptual de las tecnologías relevantes (Big Data, algoritmos, IA y ML) para comprender esta nueva realidad tecnológica y digital. En el segundo capítulo, se expondrán las herramientas legales para lidiar con las consecuencias derivadas del uso de estas tecnologías, profundizando en dos campos del derecho de gran recorrido histórico y de radiante actualidad (Derecho antidiscriminatorio y Derecho a la protección de los datos). En el tercer capítulo, estudiaremos las diferentes formas en las que la toma de decisiones automatizadas puede conducir a la discriminación de los ciudadanos. Igualmente ilustraremos con un amplio número de ejemplos reales cada tipo de discriminación algorítmica.

En el cuarto capítulo, tras habernos familiarizado con estas realidades, nos centraremos en el análisis de dos asuntos que tienen como elementos problemáticos y centrales, las decisiones automatizadas y el perfilado. Nos referimos al caso SyRI holandés y el caso de la reforma de la LOREG[2] que pretendía facultar a los partidos políticos para elaborar perfiles. El quinto capítulo, estará destinado a exponer una serie de conclusiones y opiniones personales sobre la consecución del trabajo.

En otro orden de ideas, la metodología utilizada en la consecución de este trabajo está compuesta: en primer lugar, por la identificación y análisis jurisprudencial de los casos más relevantes en la materia objeto de estudio tanto a nivel nacional como a nivel internacional, en segundo lugar, por un análisis doctrinal contraponiendo las ideas de los autores más autorizados en los diferentes campos tratados y, por último, por un análisis normativo de los textos normativos más relevantes, observando los puentes fuertes y débiles de la legislación.

II. UNA DEFINICIÓN CONCEPTUAL PREVIA: LOS ELEMENTOS CONSTITUTIVOS DEL DEBATE (BIG DATA, IA, ML)

1. Big Data

El concepto de Big Data hace referencia a la posibilidad de acceder, recoger y conservar ingentes cantidades de datos digitales, todo ello a una gran velocidad de tratamiento. Como es obvio, la Unión Europea y sus instituciones se han hecho eco de la relevancia de abordar los retos y desafíos que el Big Data y las demás tecnologías suponen para el Derecho y la convivencia en sociedad. Fruto de todo ello varios grupos de expertos unen esfuerzos en aras de desentrañar y analizar la realidad en la que la tecnología tiene un papel preponderante. Uno de ellos es el Comité Europeo de Protección de Datos[3] (CEPD) que tiene como objetivo garantizar la aplicación coherente de la normativa sobre protección de datos. En lo relativo al Big Data, fue precisamente su precedente el Grupo de trabajo del artículo 29[4] (GT29) el que propuso una definición, estableciendo que consistía en la creciente capacidad de la tecnología para respaldar la recopilación y el almacenamiento de grandes cantidades de datos, así como para analizar, comprender y extraer el valor total de los datos[5].

Cuando hablemos del concepto Big Data en este trabajo, coincidiremos con la definición que GARRIGA DOMÍNGUEZ aporta del mismo, el cual hace referencia al conjunto de tecnologías cuyo objetivo consiste en tratar grandes cantidades de información, volúmenes masivos de datos, empleando complejos algoritmos y estadísticas con una pluralidad de finalidades[6], destinadas a facilitar la toma de decisiones.

2. Algoritmos e IA («Machine Learning»)

Para fundamentar de forma precisa este trabajo consideramos oportuno describir de manera sencilla y breve, tres conceptos centrales en este trabajo que complementan al Big Data a la hora de comprender la totalidad del proceso de tratamiento de datos y la posible ulterior afectación a derechos fundamentales.

En primer lugar, nos referiremos al concepto de algoritmos: la Agencia de los Derechos Fundamentales de la Unión Europea[7] (FRA) lo ha definido como aquella «secuencia de comandos que permite a una computadora tomar entradas y producir salidas» y añade que «usarlos puede acelerar los procesos y producir resultados más consistentes»[8]. La RAE facilita la comprensión de este concepto y lo define de la siguiente manera: «conjunto ordenado y finito de operaciones que permite hallar la solución de un problema».

Ahora bien, nuestra tendencia a pensar que la tecnología es infalible, lógica y puramente racional supone el peligro de equivocarnos en la valoración, ya que los algoritmos aún son percibidos como instrumentos objetivos, inescrutables e incuestionables de las matemáticas que producen resultados racionales e imparciales[9]. No debemos olvidar, que, al fin y al cabo, son creaciones humanas que, como veremos, pueden heredar nuestros sesgos y prejuicios, en definitiva, «una opinión incrustada en matemáticas que a pesar de su reputación de imparcialidad, refleja objetivos e ideologías»[10]. En este trabajo entenderemos entonces algoritmo como una secuencia de instrucciones, desarrollada por humanos, que se encarga de realizar tareas y encontrar soluciones de forma automatizada.

En segundo lugar, entenderemos la Inteligencia Artificial (IA) de acuerdo con la definición del Grupo de expertos de IA de la Comisión Europea[11]: El término IA se aplica a los sistemas que manifiestan un comportamiento inteligente, siendo capaces de analizar su entorno y pasar a la acción –con cierto grado de autonomía– con el fin de alcanzar objetivos específicos[12]. Estos sistemas pueden consistir meramente en programas informáticos, tales como sistemas de reconocimiento facial y de voz, y de igual modo, la IA también puede estar incorporada en dispositivos de hardware, v.gr. coches autónomos, drones, etc[13].

La IA tiene un abanico muy amplio de actuación que incluye posibilidades de enorme valor social como salvar vidas con la detección más precisa de tumores o incluso acercar culturas con los traductores automáticos, pero también comportamientos indeseables como influir en elecciones o referéndums o discriminar a personas por razones de raza, género… cuestiones que trataremos en este trabajo. A pesar de que utilicemos un lenguaje que dote de personalidad a la IA asumimos que la IA no es un ente autónomo que actúa de manera espontánea, sino que requiere de ser implementada o aplicada por una organización o un ser humano.

Conviene puntualizar que cuando nos refiramos a las distintas tecnologías no pondremos el foco en la precisión técnica, sino que nos centraremos en el debate jurídico, por ello utilizaremos las palabras algoritmos y sistemas de IA para referirnos al mismo concepto.

Por último, consideramos preciso examinar una de las ramas de la IA, conocida como aprendizaje automático (Machine learning, ML). El ML diseña modelos predictivos que construyen por sí mismos la relación entre las variables a estudiar mediante el análisis de un conjunto inicial de datos, la identificación de patrones y el establecimiento de criterios de clasificación. Una vez fijados los criterios, al introducir un nuevo conjunto de datos el componente IA es capaz de realizar una inferencia[14]. Una definición menos técnica, con la que coincidimos para describir este concepto, es la de la Royal Society que identifica esta tecnología como aquella que permite a sistemas informáticos aprender directamente de ejemplos, datos y experiencia, mediante la realización de tareas específicas de forma inteligente, y de esta forma, estos sistemas pueden llevar a cabo complejos procesos aprendiendo de los datos, en lugar de seguir reglas programadas con anterioridad[15].

En conclusión, cuando el sistema informático encuentra una correlación significa que acaba de hallar un fenómeno que desconocía hasta el momento, y esto implica hallar nueva información. Esta nueva información se reintroduce en los algoritmos para que realicen búsquedas más exactas, de modo que los resultados anteriores perfeccionan el funcionamiento del algoritmo y el sistema aprende.

Esta tecnología es la base de importantes avances en una gran cantidad de sectores, como los vehículos autónomos y la creación de sistemas de transportes inteligentes, ya que el ML permite que el vehículo se adapte a una multitud de características en relación con el entorno y que responda y actúe en consecuencia p.ej. Amazon está desarrollando drones con el fin de realizar entregas, obteniendo la primera entrega con éxito en diciembre de 2016[16]. La idea clave detrás de esta tecnología es su capacidad para crear conocimiento que no necesita ser explicitado por sus creadores humanos, debido al aumento de la imprevisibilidad del comportamiento del algoritmo[17]. Todo depende de los datos con los que se entrena el sistema y la respuesta es, hasta cierto punto, desconocida o muy difícil de predecir hasta para los propios expertos que lo programan.

Reseñamos también el concepto de minería de datos, que es un tipo de ML que consiste en el proceso de descubrir patrones interesantes a partir de grandes cantidades de datos[18].

Una vez que hemos abordado estos conceptos resulta necesario introducir el problema que vamos a tratar durante este trabajo. Desde un punto de vista garantista, nos referimos a los efectos discriminatorios derivados de la toma de decisiones automatizadas y del perfilado, también denominado elaboración de perfiles (profiling[19]). De este modo, nos adentraremos en el estudio de los instrumentos jurídicos de los que dispone el ciudadano para afrontar y combatir los potenciales peligros y amenazas latentes provenientes de la discriminación algorítmica, tales como, la falta de transparencia o la inclusión de sesgos en los algoritmos. Para ayudarnos a poner a prueba no sólo la vigencia teórica de estas normas sino también su utilidad práctica.

III. INSTRUMENTOS JURÍDICOS PARA COMBATIR LA DISCRIMINACIÓN ALGORÍTMICA

Tras una amplia explicación de conceptos más técnicos, consideramos trascendente exponer una recopilación de los diferentes instrumentos jurídicos de los que disponen las personas para protegerse ante este tipo de discriminaciones impulsadas por la toma de decisiones automatizadas y el perfilado. En este capítulo intentaremos desarrollar las distintas vías legales, refiriéndonos a los principios y cuestiones básicas de las mismas, con la intención de ordenar las posibles herramientas o mecanismos legales que cualquier ciudadano puede accionar como escudo frente a los peligros y amenazas que desentrañan los algoritmos y sus sistemas de IA. Dividiremos este apartado del trabajo en las principales normas jurídicas, que a nuestro juicio, mejor se adaptan a las realidades tecnológicas y los problemas que éstas plantean. Nos referimos al Derecho antidiscriminatorio, al Reglamento General de Protección de Datos[20] (RGPD), al Convenio Europeo de Derechos Humanos[21] (CEDH), así como a la afectación directa a ciertos derechos fundamentales más allá del principio de no discriminación que quedan recogidos en la Constitución Española (CE).

Con carácter previo a la exposición de las salvaguardas legales, es preciso señalar que a lo largo del estudio de este trabajo hemos constatado un amplio abanico de derechos fundamentales que pueden verse vulnerados[22]. Por lo tanto, a pesar de que nos referiremos especialmente al principio de no discriminación, son muchos otros los que de manera colateral o incluso directa sufren afectaciones, entre los que destacaremos el derecho a la protección de los datos y ciertos derechos amparados en el RGPD como el derecho a la impugnación de decisiones automatizadas.

1. El principio de no discriminación

El concepto de discriminación ha sido desarrollado y regulado por muchos tratados y constituciones, prohibiéndose este de manera expresa. Expondremos a continuación diversas normas donde queda amparado este principio.

En primer lugar, el Derecho de la Unión a través de las instituciones europeas ha sido el propulsor de grandes avances en materia del Derecho antidiscriminatorio, con el impulso de las Directivas sobre igualdad racial (2000/43/CE)[23]; igualdad de trato en el empleo (2000/78/CE)[24]; igualdad de trato entre hombres y mujeres (refundición) (2006/54/CE)[25] e igualdad de trato entre hombres y mujeres en el acceso a bienes y servicios (2004/113/CE)[26]. Todas ellas representan los esfuerzos del legislador por dotar de una regulación consistente y coordinada a los Estados miembros. Podemos encontrar en el artículo 2 a) de cada una de estas directivas la definición análoga de discriminación directa: «la situación en que una persona haya sido o pudiera ser tratada de manera menos favorable que es, ha sido o sería tratada otra en una situación comparable, por razón de sexo, origen racial o étnico, religión...»

Asimismo, puede establecerse la discriminación directa incluso si no existe ningún reclamante identificable que alegue haber sido víctima de dicha discriminación. En el asunto Feryn[27], el Tribunal de Justicia de la Unión Europea (TJUE) concluyó que el hecho de que un empleador declare públicamente que no contratará a trabajadores de determinado origen étnico o racial constituye una discriminación directa en la contratación, en el sentido de la Directiva (2000/43/CE), ya que declaraciones de esa clase pueden disuadir firmemente a determinados candidatos de la solicitud del empleo y por tanto dificultar su acceso al mercado de trabajo[28]. La temática aquí expuesta es representativa de un tipo de discriminación atinente al ámbito de la contratación, que no siempre es fácil detectar en la práctica. Por ello es una de las realidades que más problemas y peligros está planteando en relación con la toma de decisiones automatizadas y los perfilados.

A su vez, consideramos verdaderamente importante prestar atención a otro tipo de discriminación más compleja de delimitar o acotar, incluso de apreciar su aparición. Nos referimos a la discriminación indirecta, la cual en ocasiones puede pasar completamente desapercibida. La discriminación indirecta tiene lugar cuando una disposición aparentemente neutra introduce una desventaja para una persona o un grupo de personas que comparten las mismas características[29]. Igualmente en la legislación de la UE la discriminación indirecta se define de manera similar en su el artículo 2, apartado 2, letra b), de todas las Directivas anteriormente mencionadas estableciendo lo siguiente: «existirá discriminación indirecta cuando una disposición, criterio o práctica aparentemente neutra sitúe a personas de un origen racial o étnico, sexo, religión… concreto en desventaja particular con respecto a otras personas salvo que … pueda justificarse objetivamente con una finalidad legítima y salvo que los medios… sean adecuados y necesarios».

Respecto a la idea de justificación objetiva el TJUE proporcionó una explicación detallada en el asunto Bilka-Kaufhaus[30]. En este caso, unas empleadas a tiempo parcial de los grandes almacenes Bilka fueron excluidas del régimen complementario de pensiones. Teniendo en cuenta que las mujeres representaban la mayor parte de los trabajadores a tiempo parcial, se entendía que existía discriminación indirecta contra la mujer. El TJUE declaró que este trato era constitutivo de discriminación indirecta, a no ser que la diferencia en el disfrute del derecho pudiera justificarse como proporcionada. Según el criterio del tribunal, no se respondió a la cuestión sobre si la exclusión de los trabajadores a tiempo parcial del plan de pensiones era proporcionada. La exigencia de que las medidas adoptadas fueran necesarias implicaba que debía acreditarse la inexistencia de otros medios razonables que pudieran afectar en menor grado al principio de igualdad de trato[31].

En segundo lugar, el CEDH, en su artículo 14 establece la prohibición de la discriminación. Y es el Tribunal Europeo de Derechos Humanos (TEDH) quien a través de su interpretación y profusa jurisprudencia[32] reconoce las figuras ampliamente utilizadas para abordar las diferentes realidades, tanto la discriminación directa como indirecta.

A nivel nacional, la Constitución Española (CE) también proscribe expresamente la discriminación en su artículo 14, cláusula general que establece la igualdad de todos los españoles ante la ley y la prohibición de realizar discriminaciones por razones o condiciones personales o sociales. Cabe apuntar que además de ser una obligación para los poderes públicos la discriminación por cualquiera de las causas que recoge este precepto es contraria al orden público y, por ende, esta prohibición de discriminar también se extiende a los particulares. Por razones de casuística, en España existe un recorrido jurisprudencial[33] más amplio sobre discriminación por sexo o género, mientras que en otros países como EE. UU. las tensiones raciales existentes han propiciado un mayor desarrollo jurisprudencial en esa materia.

Con la misión de transponer las Directivas antes mencionadas el legislador nacional promulga la Ley 62/2003[34] y la LOI 3/2007[35], y de esta forma, nuestra legislación incorpora los elementos y salvaguardas del Derecho antidiscriminatorio desarrollados y avanzados por la UE. Es preciso añadir que nuestro Tribunal Constitucional (TC) se pronunció recientemente respecto a la discriminación indirecta en la Sentencia 91/2019, de 3 de julio de 2019, declarando inconstitucional y nulo el precepto que regulaba el cálculo de la pensión de jubilación de los trabajadores a tiempo parcial por considerar que constituye una discriminación indirecta por razón del sexo, al evidenciarse estadísticamente[36] que la mayoría de los trabajadores a tiempo parcial son mujeres, lo que ocasiona un impacto adverso sobre los trabajadores de un determinado sexo. Lo interesante para nuestro estudio en este caso es la consideración de que el precepto impugnado produce una desigualdad de trato al faltar los requisitos de «justificación objetiva y razonable» de las diferencias que establece[37], idea comentada anteriormente en el asunto Bilka-Kaufhaus.

Tras exponer el marco normativo de la discriminación indirecta conviene referirnos a la amenaza que supone que la toma de decisiones automatizadas y los perfilados provoquen involuntariamente esta discriminación. Precisamente en el próximo capítulo expondremos la manera en la que operan, con la intención de evidenciar la dificultad que conlleva detectar sus potenciales efectos discriminatorios.

Es cierto que este instrumento jurídico (Derecho antidiscriminatorio) posibilita combatir decisiones discriminatorias y sesgadas, como ya hemos podido comprobar con los asuntos tratados sobre discriminación indirecta por razón de sexo. Sin embargo, da la sensación de que esta nueva realidad representada por el fenómeno de la discriminación algorítmica no puede ser alcanzada o atajada por este instrumento jurídico, ya que es necesario demostrar que una regla, práctica o decisión aparentemente neutral afecta desproporcionadamente a un grupo protegido y, por lo tanto, es discriminatoria a primera vista[38]. En multitud de casos, ha sido la evidencia estadística la que se ha utilizado para demostrar un efecto tan desproporcionado, tal y como se expuso en la STC 91/2019 comentada con anterioridad. El principal problema de estas tecnologías radica en su facilidad para hacer pasar desapercibida la discriminación, en otras palabras, si alguien no sabe que está siendo discriminado de manera indirecta, cómo va a poder recurrir o plantear siquiera una acción contra dicha actuación. A continuación, expondremos un breve caso a fin de ilustrar a qué nos referimos.

Supongamos que una persona desea contratar un préstamo en la web de un banco, el banco utiliza un sistema de IA para decidir sobre las solicitudes de préstamo, y ese mismo algoritmo deniega automáticamente la solicitud del cliente sin que este tenga opción a saber el porqué, ni si el sistema que deniega las solicitudes de contratar préstamos lo hace de una manera estadísticamente desproporcionada hacia, por ejemplo, las mujeres[39]. En este supuesto el cliente está siendo víctima de una decisión automatizada con efectos discriminatorios.

2. El RGPD y derecho a la protección de los datos.

Si inicialmente comentábamos la absoluta trascendencia de los datos en el siglo XXI, en el marco de una revolución tecnológica y una gran expansión globalizadora, el legislador europeo ha entendido el papel que representa para la sociedad y para su cultura la defensa del ámbito privado en relación con las nuevas tecnologías, invirtiendo grandes esfuerzos en salvaguardar el derecho a la protección de los datos, para así lograr unificar y armonizar la regulación respecto a este derecho fundamental, y es en este contexto, donde ve la luz el RGPD por el que se deroga la Directiva 95/46/CE.

En el ámbito europeo, como anteriormente se comentaba, la protección de datos está configurada como un derecho fundamental, plasmado en el artículo 16 del Tratado de Funcionamiento de la Unión Europea[40] (TFUE) y a su vez, en el artículo 8 de la Carta de los Derechos Fundamentales de la Unión Europea[41] (CDFUE), además de en el primer considerando del propio RGPD.

En el ámbito nacional, este derecho se encuentra recogido en el artículo 18.4 de nuestra carta magna, que dispone lo siguiente: «la ley limitará el uso de la informática para garantizar el honor y la intimidad personal y familiar de los ciudadanos y el pleno ejercicio de sus derechos». Como podemos observar el constituyente no era ajeno al extraordinario desarrollo que estaban experimentando las aplicaciones informáticas allá por el año 1978. Por ello a pesar de que la protección de datos personales no fuese configurada expresamente como un derecho fundamental, su reconocimiento quedó posibilitado indirectamente mediante la redacción amplia del artículo en lo que respecta a la limitación del uso de la informática[42]. De esta forma, el TC ha sido el encargado de ir desarrollando la incardinación de este derecho en el citado artículo, a través de una extensa jurisprudencia, que actualmente lo determina como «un derecho fundamental autónomo dirigido a controlar el flujo de informaciones que concierne a cada persona, y como derecho fundamental instrumental ordenado a la protección de otros derechos fundamentales, esto es, un instituto de garantía de los derechos a la intimidad y al honor y del pleno disfrute de los restantes derechos de los ciudadanos»[43]. Sin obviar, la entrada en vigor de la LO 3/2018[44], para adaptar el ordenamiento jurídico español al RGPD y garantizar los derechos digitales de la ciudadanía conforme al mandato en el 18.4CE.

Por todo lo ya mencionado, entendemos que la regulación de la protección de los datos es una auténtica herramienta legal que atiende al fin de amparar y proteger los derechos fundamentales, como el derecho a la intimidad y el principio de no discriminación[45]. Esta normativa pretende que las personas cuyos datos personales[46] sean procesados estén dotadas de derechos sobre sus propios datos, y como contrapartida, impone obligaciones a las partes que procesan o tratan datos personales (responsable o encargado de tratamiento[47]). De esta forma, una vez que hemos expuesto estas ideas generales y básicas sobre este derecho fundamental, requieren atención los principios que servirán como guía y en los que deberá basarse todo tipo de tratamiento o procesamiento de datos. Son ocho los principios[48] que forman el núcleo de la ley de protección de datos, en virtud de lo expuesto en el artículo 5 del RGPD, que exponemos a continuación; a) Los datos de carácter personal solo pueden ser tratados de manera lícita, leal y transparente («legalidad, equidad y transparencia»); b) Dichos datos solo serán recogidos para unos fines determinados, explícitos y legítimos, y no serán tratados de manera incompatible con otros fines («limitación de la finalidad»); c) Dichos datos deben limitarse a lo necesario en relación con los fines para los que son tratados («minimización de datos»); d) Dichos datos deben ser lo suficientemente precisos y si fuera necesario actualizados («exactitud»); e) Dichos datos no deben conservarse durante un plazo de tiempo superior al necesario para cumplir con los fines del tratamiento («limitación del plazo de conservación»); f) Dichos datos deben estar protegidos contra violaciones de datos, uso ilícito, etc. («integridad y confidencialidad»); g) Los responsables y encargados de tratamiento son responsables del cumplimiento de estos principios, así como de ser capaces de poder demostrar dicho cumplimiento («responsabilidad proactiva»). Principios similares a los mencionados son recogidos en las legislaciones nacionales de más de cien países en todo el mundo[49].

En el siguiente capítulo expondremos cómo estos principios en muchas ocasiones brillan por su ausencia. Ya que a pesar de que la ley de protección de datos ayude a mitigar los potenciales riesgos de la discriminación algorítmica no son pocas las veces en las que su aplicación puede resultar ineficaz a tenor de ciertas prácticas que esquivan o pasan inadvertidas para esta regulación. Razón por la cual, en ocasiones, se considera necesaria una evaluación de impacto de protección de datos (EIPD)[50].

El RGPD en su art. 35 expone lo siguiente: «Cuando sea probable que un tipo de tratamiento, en particular si utiliza nuevas tecnologías... entrañe un alto riesgo para los derechos y libertades de las personas físicas, el responsable del tratamiento realizará, antes del tratamiento, una EIPD». Añadiendo en el apartado 3 a) la necesidad de realizar un EIPD cuando exista una «evaluación sistemática y exhaustiva de aspectos personales de personas físicas que se base en un tratamiento automatizado, como la elaboración de perfiles[51], y sobre cuya base se tomen decisiones que produzcan efectos jurídicos para las personas físicas o que les afecten significativamente de modo similar». En relación con el mandato de realizar una EIPD, el art. 25 del RGPD establece la protección de datos desde el diseño y por defecto, atendiendo a su apartado primero: «...el responsable del tratamiento aplicará, tanto en el momento de determinar los medios de tratamiento (diseño) como en el momento del propio tratamiento, medidas técnicas y organizativas apropiadas…» así como reza el segundo apartado: «…con miras a garantizar que, por defecto, solo sean objeto de tratamiento los datos personales que sean necesarios para cada uno de los fines específicos del tratamiento…»

De este modo, observamos cómo el legislador es plenamente consciente de los peligros que entrañan las nuevas tecnologías, haciendo especial hincapié en la necesidad de establecer garantías y salvaguardas por parte del responsable a la hora de realizar tratamientos automatizados y elaborar perfiles, cuestiones que sometemos a estudio a lo largo del trabajo como posibles vulneradores de derechos fundamentales o potenciales creadores de efectos discriminatorios.

Decisiones algorítmicas automatizadas y el artículo 22 RGPD

Una de las cuestiones más controvertidas en los últimos años es la referente a la toma de decisiones automatizadas que llevan a cabo los algoritmos y sistemas de IA, en los que no existe intervención humana. Sin lugar a duda, la creciente utilización de estas tecnologías para agilizar procesos es un caldo de cultivo para posibles vulneraciones de derechos fundamentales. El propio director del SEPD[52] advierte que nos encontramos en los albores de una sociedad en la que la humanidad puede convertirse en esclava de facto de la dictadura de opacos algoritmos que tomen decisiones más allá de lo que marque nuestras constituciones o el sentir general de la sociedad. Y propugna que la entrada en vigor del RGPD puede considerarse como una apuesta seria de la Unión Europea para garantizar el respeto de la dignidad y los derechos fundamentales del individuo en el mundo digital[53].

El artículo 22 del RGPD expone en su literalidad: «todo interesado tendrá derecho a no ser objeto de una decisión basada únicamente en el tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos en él o le afecte significativamente de modo similar «. De esta forma, interpretamos el artículo, en concordancia con las directrices del GT29[54], como una prohibición en lugar de hacerlo como un derecho, lo cual significa que las personas están protegidas automáticamente frente a los posibles efectos lesivos que puedan derivar de este tipo de tratamiento.

Por lo que se establece una prohibición general de las decisiones basadas únicamente en el tratamiento automatizado que produzcan efectos jurídicos o significativamente similares, y se aplica tanto si el interesado adopta una acción relativa al tratamiento de sus datos personales como si no lo hace[55]. Por un lado, un ejemplo de una decisión con «efectos jurídicos» sería una decisión judicial, o una decisión con respecto a un beneficio social otorgado por la ley, como el pago de la pensión. Por otro lado, un ejemplo de una decisión con efectos «significativamente similares» sería un banco que niega un crédito automáticamente. Y en base a lo que sostienen las Autoridades de Protección de Datos, la diferenciación de precios en línea podría «afectar significativamente de manera similar» a alguien, si conduce a «precios prohibitivamente altos que efectivamente excluyen a alguien de ciertos bienes o servicios»[56].

En este sentido, es conveniente advertir que existen excepciones a esta prohibición, el propio artículo 22 en su apartado 2 las recoge: «a) cuando la toma de decisiones automática es necesaria para la celebración o la ejecución de un contrato…; b) cuando esté autorizada por el Derecho de la Unión o por ley de un Estado miembro…; c) cuando los interesados han dado su consentimiento explícito». A pesar de que el consentimiento expreso no está definido en el RGPD, se sugiere que debe estar basado en una acción afirmativa[57]. Igualmente, el considerando 71 del RGPD también reconoce y propugna estas mismas excepciones. En definitiva, según lo expuesto entendemos que el tratamiento previsto en el artículo 22, apartado 1, no se permite como norma general, aunque existen varias excepciones a esta prohibición, ut supra citadas.

Más allá de los requisitos generales de transparencia, el RGPD también contiene requisitos de transparencia específicos para decisiones automatizadas, el artículo 13 apartado 2 letra f) establece que «el responsable del tratamiento facilitará al interesado información significativa sobre la lógica aplicada, en caso de que existan decisiones automatizadas, incluida la elaboración de perfiles…, así como la importancia y las consecuencias previstas de dicho tratamiento para el interesado». Ahora bien, en este punto debemos preguntarnos, cuál es el alcance de la información significativa, ya que se entiende del precepto que una organización, que utiliza sistemas de IA, tendría que explicar y proporcionar información significativa sobre la lógica de ese proceso. Esta cuestión ha sido objeto de controversia doctrinal, algunos autores defienden que existe un «derecho a la explicación» (right to explanation), mientras que otros ponen en duda su existencia en el RGPD[58]. A tenor de una breve referencia del considerando 71: «... el derecho a… recibir una explicación de la decisión tomada…», se sugiere la existencia de un derecho individual a la «explicación» de las decisiones de IA, un derecho que podría ser esencial como instrumento para poder ejercitar los derechos del apartado 3 del artículo 22: «derecho a obtener intervención humana por parte del responsable, a expresar su punto de vista y a impugnar la decisión»[59]. Facultades por otro lado, de gran utilidad para salvaguardar potenciales vulneraciones, donde es necesaria una información previa suficiente respecto a la decisión tomada por el sistema de IA. Si no, estos derechos quedarían de facto inaplicables, ya que el interesado no podrá impugnar la decisión automatizada u obtener la intervención humana, si desconoce que esa decisión ha sido basada únicamente en un tratamiento automatizado.

En caso de que esta cuestión no disponga de su debida atención muchos tipos de decisiones automatizadas se mantendrían fuera del alcance o del foco de las reglas del RGPD. Un potencial peligro a efectos de que el ciudadano pueda ejercitar sus derechos, por lo que en este punto apreciamos un déficit o ángulo muerto en la normativa. Coincidimos en este punto con SELBST y POWLES en el hecho de que este problema se refiere a la aplicabilidad de estos derechos, en vez de a su forma, asunto que deberá ser aclarado por legisladores, tribunales y autoridades de protección de datos en futuras interpretaciones[60]. En aras de ilustrar esta explicación con un ejemplo concreto, recordemos que el precepto del art. 22.1 solo se aplica a decisiones basadas «únicamente» en el tratamiento automatizado, es decir, sin intervención humana. Ahora bien, imaginemos que un empleado de un banco niega un préstamo sobre la base de una recomendación de un sistema de IA. A no ser que el empleado lleve a cabo una comprobación superficial como un estampado (rubber stamping), la disposición del artículo 22 sería inaplicable[61], ya que al haber existido participación humana la decisión no estaría basada «únicamente» en el tratamiento automatizado. Por lo que la compañía podría eludir fácilmente la aplicación de este artículo 22, destinando un empleado a supervisar decisiones automatizadas, que en la práctica se limite a reproducir lo que decida el sistema de IA.

Como podemos comprobar la complejidad de ciertos conceptos técnicos o tecnológicos pueden hacer que resulte difícil para el interesado entender cómo funciona o si está siendo parte un proceso de decisiones automatizadas o de elaboración de perfiles. Por ende, el responsable del tratamiento debe informarle de manera sencilla acerca del procedimiento para llegar a la decisión. El RGPD exige que el responsable del tratamiento ofrezca información significativa sobre la lógica aplicada, sin ser necesaria una compleja explicación del sistema IA o la revelación de todo el algoritmo[62]. De todas formas, la información que se facilite al interesado debe ser suficientemente exhaustiva para que pueda entender los motivos de la decisión[63]. Y por supuesto, debe garantizarse la participación humana, por persona competente y autorizada, a través de cualquier supervisión de la decisión que supongan acciones significativas, no únicamente un gesto simbólico[64] como en el ejemplo anterior, posibilitando siempre que un operador humano pueda ignorar el algoritmo en un momento dado[65]. En cualquier caso, el debate sobre la explicación y la participación humana en las decisiones automatizadas de IA se encuentra encima de la mesa. Precisamente, la Declaración de Deusto sobre Derechos Humanos en entornos digitales[66] ya se refiere al derecho a la transparencia y responsabilidad en el uso de algoritmos y al derecho a disponer de una última instancia humana en las decisiones automatizadas. Asimismo, el gobierno español aborda recientemente la necesidad de elaborar una Carta de Derechos Digitales constituyendo un grupo de expertos para desarrollar la protección de los derechos de los ciudadanos en entornos digitales[67].

IV. CÓMO FUNCIONA LA DISCRIMINACIÓN ALGORÍTMICA

A continuación, intentaremos exponer cómo el funcionamiento de la toma de decisiones automatizadas y los perfilados discriminan a ciertos colectivos o individuos en base a diversas condiciones: género, origen racial, religión, situación socioeconómica, etc. Para llevar a cabo esta explicación nos referiremos al estudio de BAROCAS y SELBST[68], así como al trabajo de ZUIDERVEEN[69], donde se distinguen hasta cinco formas en las que la toma de decisiones automatizadas puede conducir, involuntariamente, a la discriminación. Los problemas se relacionan con: a) la «variable objetivo» y la definición de las «etiquetas de clase»; b) datos de entrenamiento: ejemplos de etiquetado; c) recopilación de datos de entrenamiento; d) selección de características; y e) variables de aproximación (Proxy). Asimismo, también existe la posibilidad de que la discriminación se produzca voluntariamente f), la toma de decisiones automatizadas puede ser utilizada, a propósito, para fines discriminatorios[70]. Así, procedemos a resumir y estudiar cada una de las vías en las que las decisiones automatizadas y los perfilados pueden discriminar algorítmicamente y vulnerar otros derechos fundamentales.

a) En el primero de los casos, resulta importante diferenciar dos conceptos: «la variable objetivo» y «etiquetas de clase». El primero consiste en definir qué está buscando el minero de datos[71]. Es decir, establecer un modelo con el fin de automatizar procesos, estimar el valor de las variables o predecir futuros resultados. En definitiva, definir el problema de una forma que el ordenador pueda analizar[72]. En lo que respecta al segundo, se basa en dividir y etiquetar en diferentes categorías los datos disponibles con la intención de organizarlos. El problema y las preocupaciones en relación con la discriminación se manifiestan en esta etapa ya que las diferentes opciones y categorizaciones a realizar pueden suponer un impacto adverso en clases sociales especialmente vulnerables.

Veremos la consecución de lo anterior en un ejemplo que explica el profesor ZUIDERVEEN. Imaginemos que nos encontramos en el contexto de una empresa que decide crear una «etiqueta de clase» para la contratación de sus empleados, y en la categorización de lo que debe ser un «buen profesional» se introduce una etiqueta relacionada con la puntualidad, v.gr. «rara vez llega tarde». Generalmente las personas pobres viven más alejadas del centro de la ciudad por lo que es más probable que lleguen tarde a su puesto de trabajo debido a problemas con el transporte o atascos. Ahora bien, si los inmigrantes son en valor promedio más pobres y viven más lejos de su trabajo, nos encontraríamos ante una clara desventaja y posible discriminación. Resumiendo, cómo una organización define las «etiquetas de clase» y la «variable objetivo» puede materializarse en la introducción de un sesgo dentro del sistema algorítmico[73].

b) En cuanto al segundo supuesto, de «datos de entrenamiento» y «ejemplos de etiquetado» es fundamental señalar que la toma de decisiones automatizadas puede, sin duda alguna, concluir en resultados discriminatorios si el sistema de IA aprende y es entrenado por un conjunto de datos ya sesgados[74]. El algoritmo no estaría introduciendo un sesgo nuevo, sino que reflejaría los sesgos ya existentes en los datos con los que se entrena[75].

Un claro ejemplo de esta discriminación fue el proyecto que Amazon quiso implantar para agilizar su contratación utilizando un sistema de IA[76]. La compañía se percató de que su nuevo sistema para contratar distaba de ser neutral en materia de género, ya que en los trabajos técnicos referidos al desarrollo de software se discriminaba a las mujeres. Esto se debe a que el sistema de IA del algoritmo había sido entrenado observando los patrones de los currículums enviados a la empresa en los últimos 10 años, donde había una gran mayoría de hombres. De esta forma, el algoritmo que utilizó Amazon aprendió que los candidatos masculinos eran preferibles, penalizando así, los currículums en los que constaba la palabra «femenino». Finalmente, una vez descubierto el sesgo, la compañía tuvo que abandonar el proyecto.

c) En cuanto al tercer supuesto, la «recopilación de datos de entrenamiento», es decir, cuando el sistema de IA aprende de una muestra anterior que ha sido tomada eligiendo a los sujetos de forma sesgada. De esta manera, puede haber infra o sobrerrepresentaciones de ciertos colectivos con respecto a otros en la propia muestra. Al igual que en el segundo supuesto tampoco se introduce un sesgo nuevo, sino que se reflejan los sesgos ya existentes en la muestra de la que se extraen los datos.

Podríamos mencionar aquellos casos en los que la atención de la policía se centra en ciertos barrios y grupos étnicos, que provoca un aumento de las probabilidades de que los registros policiales representen en exceso a aquellos grupos y barrios de manera sistemática[77], ya que las conclusiones extraídas del algoritmo se basan en un conjunto de datos mal muestreado. De este modo, la vigilancia basada en estadísticas de delincuencia puede provocar un ciclo de retroalimentación (feedback loop)[78], con todos los peligros que esto conlleva para la posibilidad de que el algoritmo discrimine. Los efectos de una muestra sesgada pueden amplificarse por las predicciones algorítmicas, se predice la vigilancia futura, pero no el delito futuro. Por lo que la vigilancia se acaba convirtiendo en una «profecía autocumplida». Un barrio aumenta su índice de criminalidad, no porque haya más delitos, sino simplemente porque se aumenta la vigilancia policial en esa área concreta[79]. Sin descartar, por supuesto, la situación contraria en la que en el proceso de recopilación del conjunto de datos masivos se crean zonas oscuras o sombras donde algunos ciudadanos y comunidades son ignoradas o están infrarrepresentadas[80].

d) El cuarto de los supuestos, es el relativo a la selección de características. Cualquier compañía o entidad que desee utilizar un sistema de IA a través del cual pueda predecir algo automáticamente, debe decidir en qué elementos incidir o a cuáles atribuir mayor importancia de cara a introducirlos en la programación del algoritmo y que éste priorice ciertas características. En otras palabras, el objetivo es simplificar la complejidad del mundo y de los individuos para que el funcionamiento de la IA sea capaz de capturar en datos las preferencias de los humanos[81], asumiendo, claro está, la imposibilidad de recopilar todos los atributos de un sujeto o tener en cuenta todos los factores ambientales con el modelo de IA creado[82]. El caso paradigmático que facilita la comprensión de la discriminación algorítmica sería el establecimiento de las características a tener en cuenta por el algoritmo. Imaginemos un supuesto de hecho, donde utilizamos un algoritmo de selección de candidatos para un puesto de trabajo, y decidimos que dos de las características más importantes para la toma de decisiones del algoritmo van a ser el haber estudiado en una universidad prestigiosa y que su matrícula haya supuesto un cuantioso coste. La conclusión es que esta elección podría conducir a efectos discriminatorios respecto a ciertos colectivos que raramente disponen de la oportunidad de estudiar en este tipo de universidades[83]. En resumidas cuentas, la elección por las compañías de este tipo de categorías o características introducidas en los algoritmos puede causar efectos discriminatorios.

e) El quinto de los supuestos se refiere a las variables de aproximación «Proxy». Es importante señalar que en algunos conjuntos de datos cierta pertenencia a un grupo o colectivo puede ser correlacionado con otro grupo o colectivo. Ilustraremos este supuesto con el siguiente ejemplo, imaginemos que un banco utiliza un sistema de IA, entrenado con datos estadísticos de los últimos 20 años, para predecir qué solicitantes de préstamos no podrán afrontar su devolución. El sistema de IA aprende que las personas que tienen asignado el código postal 48000 tienen más probabilidades de incumplir el pago de sus préstamos. A primera vista se concluye que el código postal es un criterio neutral a la hora de predecir incumplimientos de pago, sin embargo, se ha convertido en una variable «Proxy» de la variable de impago. Supongamos que el código postal está relacionado con el origen racial, entonces, nos encontraríamos ante una situación en la cual esta correlación utilizada por el sistema de IA discrimina a un cierto grupo por su origen racial[84].

A su vez, traemos a colación otro caso en el que puede observarse de nuevo este tipo de práctica y su deriva discriminatoria. Los visitantes de sitio web de Home Depot (una empresa estadounidense de mejoramiento del hogar) pueden pensar que obtienen el mismo trato que todos los demás clientes, pero en realidad, el minorista cobra precios más altos o bajos según el código postal de cada visitante individual, por lo tanto, se determina el precio en función de atributos personales, en este caso la ubicación[85]. Al igual que en el caso anterior, si suponemos que la ubicación y el código postal tiene una correlación con un grupo vulnerable, de nuevo nos encontraríamos ante un caso de variables «Proxy», que afecta en este supuesto, al ámbito de la discriminación de precios. BAROCAS Y SELBST indican que el verdadero problema reside en las «codificaciones redundantes» (redundant encodings), casos en los que la pertenencia a una clase protegida se codifica en otro grupo de datos. En definitiva, la existencia de esta correlación puede ser especialmente problemática cuando afecta a la pertenencia a un grupo vulnerable.

f)  En el último de los supuestos, expondremos la posibilidad de que la discriminación algorítmica se produzca, pero esta vez de manera voluntaria. Las personas que toman decisiones sobre el sistema de IA y el propio algoritmo pueden tratar de enmascarar ciertos sesgos de forma totalmente meditada y orquestada en el momento de recopilar los datos u otras vías de generar el modelo a tener en cuenta[86]. La intencionalidad de este tipo de conductas resulta compleja de probar. Sobre todo, cuando esta voluntariedad discriminatoria se encuentra enmarcada en el ámbito de las empresas, donde razones puramente económicas legitiman estas prácticas, motivando a estas compañías a restringir encubiertamente, a través de los algoritmos, el tratamiento y acceso en igualdad de condiciones a personas pertenecientes a grupos vulnerables[87].

Un caso hipotético de esta forma de discriminación sería el de aquel negocio que discrimina a las mujeres embarazadas. Y no solo esto, sino también a aquellas mujeres que tengan una puntuación elevada en la «predicción de embarazo». Este sistema se puede crear a través de un sistema de seguimiento de consumo, es decir, en base a qué productos consume la mujer, con qué frecuencia, y en qué circunstancias el sistema puede predecir con una precisión razonable si esa mujer objeto de estudio, puede estar o no embarazada[88]. Lo cual nos haría encontrarnos ante la situación de que la empresa discrimina en base a una predicción llevada a cabo por un sistema de IA[89]. La posibilidad de predecir los embarazos pudiera parecer inverosímil, no obstante, simplemente el hábito de comprar grandes cantidades de loción no perfumada es un indicador de que una mujer podría estar embarazada[90]. En 2010 en Estados Unidos, un padre acudió a una tienda, quejándose de haber recibido un correo destinado a su hija en el que se recogía todo tipo de publicidad relacionada con el embarazo. Alegaba el hombre que se estaba incitando a su hija a quedarse embarazada, aunque para su sorpresa, esta adolescente llevaba varios meses encinta, y el algoritmo simplemente lo había predicho ateniéndose a sus patrones de conducta[91]. Según el GT29 el problema reside en la forma en que los datos se combinan, procesan y utilizan con la intención de predecir un perfil general (embarazo y número de meses) usando un algoritmo secreto y cuestionable[92].

Todo esto configura una nueva realidad que afecta tanto a individuos como a colectivos, difícilmente detectable que se escapa del marco de los instrumentos jurídicos destinados a dar respuesta a estas discriminaciones. Por lo que tras exponer el modus operandi de la discriminación algorítmica, ilustrando efectos discriminatorios y potenciales vulneraciones de derechos fundamentales y, estudiar los instrumentos jurídicos existentes para combatirla, analizaremos cómo los tribunales están comenzando a resolver el problema principal. Que consiste en la predicción de comportamientos y toma de decisiones discriminatorias y sesgadas, con base en decisiones automatizadas y perfilados, a través de sistemas de IA o cualquier otro algoritmo en el marco del Big Data.

V. ESTUDIO DEL IMPACTO DE LAS DECISIONES AUTOMATIZADAS Y LOS PERFILADOS

Conviene destacar la gran proliferación que han experimentado los algoritmos en la sociedad, tanto dentro de las compañías y corporaciones como dentro de los órganos públicos. Apuntamos también a la expansión de los sistemas de IA por todos los tejidos y sectores imaginables, lo que supone una muy amplia variedad de campos en los que estas tecnologías tienen influencia en nuestra vida. En este orden de ideas, expondremos una clasificación de diferentes ámbitos en los que pueden desarrollarse las potenciales amenazas de la discriminación algorítmica y también donde sus consecuencias pueden volverse más notorias.

En primer lugar, nos centraremos en el estudio del impacto de las decisiones automatizadas y los perfilados en las actuaciones de los poderes públicos, a través del análisis de dos sentencias que se pronuncian sobre prácticas que podríamos calificar como discriminación algorítmica, elaboración de perfiles y protección de datos. En segundo lugar, nos referiremos a las implicaciones que estos sistemas de IA tienen en las relaciones entre los particulares, a nivel económico, laboral… precisamente por ser una realidad novedosa nos referiremos a los desafíos inminentes que ya comienzan a ser una realidad.

1. Impacto del uso de algoritmos y perfilados por poderes públicos

Conviene recordar lo extremadamente cautelosos que los poderes públicos deben ser a la hora de utilizar sistemas de IA o algoritmos en sus actuaciones y políticas públicas. No es baladí recalcar que el Estado se articula como principal escudo frente a resultados discriminatorios. Sin embargo, nuestros tribunales comienzan a conocer situaciones en las que la toma de decisiones automatizadas y los perfilados de naturaleza pública provocan lesiones o amenazan los derechos de sus propios ciudadanos, con el peligro latente de que la discriminación algorítmica provenga, precisamente, de aquellos que debieran atajarla.

En este sentido, consideramos oportuno traer a colación una sentencia totalmente pionera dictada por el Tribunal de Distrito de La Haya (Rechtbank Den Haag), el 5 de febrero de 2020[93]. En ella se declara ilegal un sistema algorítmico utilizado por el Gobierno de los Países Bajos, llamado SyRI (Systeem Risico Indicatie[94]), que trataba de prevenir y combatir el fraude a la seguridad social y la hacienda pública (FJ 3.1). Fueron varias las partes que incoaron este procedimiento contra el Estado, entre ellas organizaciones de la sociedad civil (incluido el Comité de Juristas de Derechos Humanos de los Países Bajos), dos ciudadanos y también se adhirió a los demandantes el FNV (confederación de sindicatos).

El algoritmo objeto de discordia consistía en la elaboración de perfiles para la asignación individual a cada ciudadano de un nivel de riesgo en relación con su probabilidad de cometer fraude en las cuentas públicas, gracias a la recopilación y tratamiento de una serie de parámetros y una ingente cantidad de datos personales, entre ellos: nombre, dirección, lugar de residencia, dirección postal, fecha de nacimiento, género, datos laborales, datos fiscales, datos comerciales, datos sobre becas recibidas, sobre pensiones, sobre la obligación de reintegro de prestaciones públicas, datos del seguro de salud, etc. La base legal para el tratamiento de semejante cantidad de datos por este sistema de IA, proviene de la denominada Ley de Organización de Implementación y Estructura de Ingresos (Wet structuur uitvoeringsorganisatie en inkomen, SUWI), cuyo artículo 65.2 (FJ 4.8) permite la elaboración de informes de riesgos para evaluar la posibilidad de que una persona física o jurídica haga un uso ilegal de fondos gubernamentales en el campo de la seguridad social y los esquemas relacionados con los ingresos públicos[95].

Una vez explicados los antecedentes del caso, debemos referirnos a la decisión final del tribunal, donde se llega a la conclusión de que el algoritmo no cumple las exigencias de proporcionalidad y transparencia necesarias y vulnera el artículo 8 del CEDH (FJ 6.7), que reconoce el precepto sobre el respeto a la vida privada. Uno de los problemas que apunta el tribunal reside en que este algoritmo discriminaba a los ciudadanos con menor renta y a colectivos de origen inmigrante, especialmente vulnerables.

Esta sentencia desprende varias vertientes de interesante mención. Por un lado, se estima que la legislación holandesa que legitima este algoritmo no cumple con el «equilibrio justo» (fair balance) que, de acuerdo con el CEDH, debe existir entre el interés social al que sirve la ley planteada y la vulneración de la vida privada que la misma legislación produce. A este respecto, el tribunal aprecia, que los derechos garantizados por el CEDH también componen el derecho de la UE como principios generales de la misma, de acuerdo con el art. 6.3 del Tratado de la Unión Europea[96] (TUE). Por otro lado, para dictar la sentencia el tribunal tiene en cuenta varios de los principios del RGPD, concretamente, el principio de transparencia, el de limitación de la finalidad y el de minimización de datos. De igual forma, la resolución del tribunal holandés señala que en el contexto de tratamiento de datos personales, el derecho al respeto a la vida privada también afecta al derecho a la igualdad de trato en casos iguales y al derecho a la protección contra la discriminación, los estereotipos y la estigmatización (FJ 6.24). Finalmente, concluye el tribunal su argumentación sosteniendo que la normativa que regula el uso de SyRI es insuficientemente clara y verificable, considerándose, en definitiva, contraria a la ley.

A juicio del tribunal, a pesar de que el informe de riesgos generado por SyRI no tiene en sí mismo un efecto jurídico, sí que tiene un efecto significativo que afecta de modo similar en la vida privada del individuo cuyos datos son tratados. Por lo que se adhiere en este sentido a las directrices del GT29, respecto a los efectos significativamente similares en el individuo a consecuencia del procesamiento automatizado de sus datos.

Considerando lo ya expuesto, debemos centrarnos en la relevancia del principio de transparencia en el supuesto analizado, como principio fundamental de la protección de datos consagrado en la CEDH y en los artículos 5.1. a) y 12 del RGPD. El tribunal determina que ni se ha hecho público el tipo de algoritmo, ni se ha aportado información suficiente sobre el método de análisis de riesgos, excusándose en el hecho de que los ciudadanos pudieran aprovechar esta información para esquivar al sistema. Aunque la legislación SyRI no prevé obligación alguna de informar, el tribunal considera que, sin ser necesaria una publicación total del algoritmo, de ninguna manera se proporciona la información suficiente exigida, en base al principio de transparencia. En este sentido, adquiere especial importancia aludir a las potenciales amenazas a las que nos venimos refiriendo durante la consecución del trabajo, que aquí ven su materialización. Ya que el ciudadano no dispone de la información necesaria para conocer el tipo de tratamiento que se está efectuando sobre él y, por ende, éste no puede ejercer sus derechos de forma pacífica. Aunque desde luego, uno de los aspectos cardinales de esta sentencia es el fundamento jurídico utilizado para establecer la ilegalidad del SyRI, puesto que la base jurídica que permite declarar ilegal el algoritmo es el CEDH y no en la Ley de Protección de Datos nacional. Se entiende que hubiera sido lógico fundamentar su argumentación en el artículo 22 del RGPD, ampliamente tratado en este trabajo, no obstante, su interpretación sigue siendo una incógnita, quizá sea una forma de evidenciar los déficits y carencias del RGPD.

A su vez, es importante reseñar que PHILIP ALSTON, special rapporteur de Naciones Unidas (SRNU) sobre cuestiones de extrema pobreza y derechos humanos, el cual actuó como amicus curiae del tribunal, señalaba en el informe[97] que aportó como documentación que se trata de la primera ocasión en la que para limitar el uso de determinadas tecnologías se utiliza como fundamento jurídico el incumplimiento de un Derecho Humano. Configurándose como una nueva línea argumental jurídica de visión garantista para futuros casos de una índole semejante. Concluye este experto su informe advirtiendo que «estos sistemas deben ser analizados, no solo por los tribunales, sino por los legisladores y toda la sociedad, ya que el uso de SyRI tiene efectos discriminatorios y estigmatizadores»[98]. En definitiva, el Tribunal de Distrito de La Haya dirime que el derecho a la vida privada prevalece frente a la lucha contra el supuesto fraude en las prestaciones. Declarando ilegal el sistema algorítmico de SyRI, sentando así un precedente para cualquier caso similar.

A nivel nacional, nuestros tribunales no han conocido procedimientos similares al del tribunal holandés. Ahora bien, nuestro TC se pronunció recientemente, en su Sentencia de 22 de mayo de 2019[99], en relación con la posibilidad de que los partidos políticos recopilasen y sometieran a tratamiento los datos personales relativos a las opiniones políticas de la ciudadanía. En otras palabras, la habilitación legal de elaborar perfiles políticos para personalizar los mensajes de propaganda. Fue el Defensor del pueblo quien interpuso el recurso de inconstitucionalidad en aras de expulsar de nuestro ordenamiento jurídico el artículo 58 bis de la LOREG. Finalmente, nuestro TC sentenció la inconstitucionalidad del artículo que posibilitaba el profiling político.

Las razones que adujo el TC para la declaración de su inconstitucionalidad eran las siguientes: en primer lugar, no se precisa qué finalidad o bien constitucional justifica la restricción del derecho a la protección de datos personales (FJ 7, b)). En segundo lugar, el legislador no ha determinado en qué supuestos y condiciones puede limitarse, mediante reglas precisas que hagan previsible para el interesado la imposición de tal limitación y sus consecuencias (FJ 7, b)). En tercer lugar, no fija por sí misma las garantías adecuadas por lo que respecta específicamente a la recopilación de datos personales relativos a las opiniones políticas por los partidos políticos en el marco de sus actividades electorales (FJ 10). Finalmente, se remarca que todo ello constituye una injerencia en el derecho fundamental a la protección de datos personales, de gravedad similar a la que causaría una intromisión directa en su contenido nuclear (FJ 10).

Una vez constatada la clara vulneración del derecho a la protección de los datos de este artículo y declarado su inconstitucionalidad, nos interesa referirnos a varias cuestiones concernientes a los peligros que conllevan este tipo de técnicas. Por un lado, es el propio Defensor del Pueblo el que señala que precisamente en esta línea limitativa frente al tratamiento de datos sensibles y especialmente protegidos, el artículo 9.1 de la LO 3/2018, dispone que «a fin de evitar situaciones discriminatorias, el solo consentimiento del afectado no bastará para levantar la prohibición del tratamiento de datos cuya finalidad principal sea identificar su ideología…»[100], por lo que entendemos que prevenir la discriminación es una prioridad. Por otro lado, como ya hemos adelantado, lo que habilitaba este precepto declarado nulo era la elaboración de perfiles ideológicos, con el fin de personalizar la propaganda electoral (microtargeting[101]) con sistemas de IA y a través de la utilización del Big Data, que pueden acabar manipulando a las personas mediante la realización de perfilados exhaustivos y el fenómeno de las «fake-news» o «desinformación online»[102]. Además, pueden ser también, contrarios a los principios de transparencia y libre participación, que caracterizan a un sistema democrático[103]. Con esta exhaustividad de perfilado, no sólo se utilizarían estos perfiles para enviar correos electrónicos de spam electoral, sino también para enviar mensajes totalmente personalizados a través de redes sociales[104].

El Comité Europeo de Protección de Datos[105] consideró que, en algunas circunstancias, la publicidad dirigida en línea gracias al «micro-targeting» podría tener la capacidad de afectar de manera suficientemente significativa a las personas cuando, por ejemplo, es intrusiva o utiliza el conocimiento de las vulnerabilidades de las personas afectando al comportamiento o las elecciones de los individuos. Asimismo, conviene señalar la amenaza que el uso de perfiles puede suponer para el acceso a la información veraz, ya que los algoritmos podrían llegar a determinar a qué información puedes o no acceder en función de tu perfil ideológico[106]. No hablamos de ciencia ficción, el caso de Cambridge Analytica es una prueba de ello, gracias al tratamiento automatizado de inmensas cantidades de datos y la elaboración de perfiles junto a técnicas de «microtargeting»[107], se predice el comportamiento futuro y en función a esa predicción se adoptan decisiones potencialmente discriminatorias y manipuladoras, pudiendo incluso, llegar al extremo de influir en elecciones generales o referéndums.

Como podemos observar es una materia prolija y son muchas cuestiones las que aquí pueden ser objeto de debate, mas quisiéramos hacer hincapié, con estos ejemplos, en la cantidad de diferentes ámbitos en los que las decisiones automatizadas y los perfilados pueden suponer desafíos y retos para los derechos fundamentales, más aún si cabe cuando estas amenazas pasan desapercibidas o esquivan nuestras regulaciones. A lo largo de este trabajo nos hemos centrado en estudiar los efectos del Big Data, los algoritmos y la IA en relación con el principio de no discriminación y a la protección de datos, no obstante, como hemos visto el número de derechos fundamentales que pueden ser afectados es ciertamente amplio. Es por ello que deseamos incidir en la necesidad de que este tipo de tecnologías y técnicas de tratamiento de datos sean extremadamente escrupulosas con el respeto de los derechos fundamentales.

2. Otros desafíos inminentes

Las relaciones entre particulares también se ven especialmente afectadas por las decisiones automatizadas y los perfilados, la influencia de los algoritmos y la IA. En ciertas actividades (económicas, laborales...) suponen todo un campo de estudio en el que no profundizaremos pero que abordaremos de manera breve.

Como ya adelantamos en el capítulo anterior, ciertos factores puntuales que a priori corresponden a una esfera estrictamente reservada al ámbito personal, como la ubicación, sirven como base para que determinados sistemas informáticos decidan sobre si se es, o no se es, un buen cliente para acceder a la contratación de un préstamo, con un claro menoscabo del principio de no discriminación en el acceso a bienes y servicios. También haremos alusión a cómo estas tecnologías de IA conllevan potenciales amenazas en lo relativo a la discriminación en el acceso al trabajo.

Retomando el ejemplo de la explicación de las variables Proxy, en el supuesto de que alguien solicite un préstamo en un banco, sofisticados modelos de calificación crediticia sopesan la decisión sobre tales solicitudes. Si el banco niega automáticamente un préstamo a un cliente, éste no puede contrastar por qué el sistema de IA del banco niega el préstamo, debido a la opacidad del algoritmo. Según el profesor de Derecho en la Universidad de Maryland, FRANK PASQUALE autor del libro: The black box society. The secret algorithms that control money and information, «esta herramienta es demasiado determinante en el éxito o fracaso de las personas como para funcionar envuelta en el secretismo»[108]. Por lo que es evidente que hay algoritmos que clasifican a los ciudadanos en diferentes categorías de solvencia, en función de las probabilidades de que devuelva un préstamo, lo cual en un primer momento no es algo ilegal. No obstante, el cálculo de esos modelos parte de su historial crediticio, nivel de ingresos y otros datos que tienen un carácter especialmente protegido por el artículo 9 del RGPD, como son su raza o género. La puntuación conseguida por cada individuo determinará el tipo de interés que le ofrezcan los bancos, lo que en el caso de una hipoteca puede significar miles de euros anuales, algo que afecta sin duda al ámbito económico individual de cada ciudadano. Asimismo, es probable que cierta decisiones automatizadas se encuentren fuera del alcance de la regulación del RGPD, por ejemplo, si el banco a través de un modelo predictivo infiere que el porcentaje de morosos de un barrio concreto es del 90%, y conoce el barrio del solicitante a partir de su código postal, puede denegar el préstamo a todo aquél que sea de ese barrio sin que el RGPD sea aplicable, ya que al no considerarse como dato personal, el articulado del RGPD no tendría cabida. La clave reside en entender que la aplicación de la regulación de la protección de los datos no tiene lugar si no pueda determinarse, directa o indirectamente la identidad de una persona.

Otra de las tecnologías que plantea serios problemas es la del reconocimiento facial. Según un estudio de la Universidad de Maryland[109] estos sistemas automáticos tratan de descubrir el género de una persona a través del Big Data. Una realidad que ha suscitado cierta inquietud entre colectivos con diversas identidades de género, haciendo especial hincapié en aquellos que se encuentran realizando la transición de género. Por ejemplo, una conductora de Uber ubicada en Iowa tuvo que esperar hasta 3 días para volver a ejercer su oficio al volante, a consecuencia de un fallo en el sistema de reconocimiento facial contratado por Uber, que no fue capaz de reconocerla debido a no tener en cuenta la existencia de este tipo de circunstancias[110]. Se demuestra así que este tipo de sistemas pueden clasificar erróneamente a las personas que expresan su género de manera diferente a las normas estereotípicas masculinas y femeninas. Tal y como observamos, el desafío es mayúsculo, la propia Unión Europea ha mostrado discrepancias en cómo lidiar con esta tecnología, estableciendo finalmente que con fines de identificación biométrica remota solo puede utilizarse cuando dicho uso esté debidamente justificado, sea proporcionado y esté sujeto a garantías adecuadas[111]. La AEPD, por su parte, se ha pronunciado respecto al uso de esta tecnología en su informe n.º 0036/2020[112] donde sostiene que para el tratamiento de datos personales especialmente protegidos se requiere identificar fines de interés público esencial y, a su vez, apreciar la proporcionalidad del tratamiento al fin perseguido, respetando en lo esencial el derecho a la protección de datos, estableciendo «medidas adecuadas y específicas para proteger los intereses y derechos fundamentales del interesado» en concordancia con el art. 9.2 g) RGPD.

Ahora imaginemos que lo que se decide automáticamente no es la aceptación de un préstamo ni el reconocimiento facial de un trabajador, sino la automatización de ascensos, bonus, o incluso despidos. El empleador inserta en el algoritmo una orden de causa y efecto (si pasa X reacciona con Y), de esta forma, si un trabajador que es controlado vía wearables o GPS disminuye o detiene su actividad profesional durante un tiempo determinado recibe automáticamente un email con una carta de despido o una advertencia de que debe ponerse en movimiento[113]. Nos referimos a dos casos que ocurrieron respectivamente en la fábrica londinense de Amazon[114] con sus mozos de almacén y en España con Deliveroo[115] y sus riders, tal y como exponía el acta de Inspección de Trabajo de Valencia[116]. Podría discutirse aquí los límites de las potestades del empleador para controlar y vigilar a sus empleados, con base legal en el artículo 20.3 del ET[117], no obstante, el problema reside en la automatización de estas decisiones sin intervención humana y también en cómo puede el algoritmo discriminar a ciertos colectivos como pudiera ser, por ejemplo, el de discapacitados a la hora de trazar los movimientos en la empresa. Por no hablar, del peligro que supone para el derecho a la protección de los datos, puesto que, si bien pudiera pensarse inicialmente que la mayoría de esos datos no son de carácter personal, con las actuales tecnologías casi cualquier tipo de dato puede ser utilizado para crear una «huella digital»[118]. Ya que cuantos más datos haya, menos se puede decir que sean privados, de forma que la riqueza de dichos datos hace que la localización de personas sea algorítmicamente posible[119]. Una buena opción para cohonestar ambos intereses y garantizar el respeto de los derechos fundamentales podría ser el de, como empresario, desarrollar una EIPD tal y como expusimos en el capítulo 2 al hablar de la protección de datos.

VI. CONCLUSIONES

Tras el estudio de este trabajo y en aras de finalizar el mismo recogeremos a continuación una serie de reflexiones y conclusiones.

Primera: Hemos observado en la consecución de este trabajo la relevancia de abordar en profundidad los avances tecnológicos en los diferentes marcos jurídicos. Cada día es más necesario formar perfiles híbridos y estrechar lazos entre ambos campos, articular respuestas adecuadas desde el Derecho no será posible sin entender el desarrollo de la tecnología.

Segunda: Consideramos de suma importancia tratar la opacidad de los algoritmos que discriminan: su ya demostrada no neutralidad es un auténtico peligro para nuestra sociedad. Por ello, a nuestro juicio, existe un déficit de transparencia en este tipo de sistemas de IA. Pensamos que la figura de la EIPD del art. 35 RGPD debe ser la base para crear auditorías periódicas de algoritmos, que analicen desde un punto de vista ético-jurídico el recorrido de todas sus fases: diseño, tratamiento, resultado; a través de agencias de certificación o expertos independientes, con la intención de eliminar sesgos y prevenir posibles efectos discriminatorios. Además, conviene esclarecer la atribución de responsabilidades, ya que los algoritmos y sistemas de IA no son entes abstractos guiados por su propia conciencia, sino que responden a las opiniones, sesgos e instrucciones que los informáticos, juristas, filósofos y demás profesionales introducen en su configuración y diseño.

Tercera: En la realización de este trabajo, hemos comprendido que nos hallamos ante un problema sin pasaporte, ya que la discriminación algorítmica, no conoce de fronteras. Por esa razón, entendemos que esta nueva realidad, esquiva y de compleja detección, sobrepasa los instrumentos jurídicos actuales. Y en el debate sobre si debemos priorizar los beneficios generados o respetar los derechos y libertades, en el uso de decisiones automatizadas y perfilados, no debemos titubear. Así consideramos que la implantación de la IA y los algoritmos debe partir de un marco que aúne lo legal y lo ético para evitar amplificar sesgos o prejuicios sobre colectivos vulnerables. El código informático de los sistemas IA debe adaptarse a los códigos normativos, los derechos fundamentales no negocian con algoritmos.

Cuarta: Hemos podido comprobar que el legislador es consciente de la magnitud del reto que supone salvaguardar los derechos y libertades de los ciudadanos en el entorno digital, aunque también es cierto que son varios los déficits o ángulos muertos que la regulación europea debe solventar. Algo que se evidencia en el estudio de la única sentencia a nivel europeo que declara ilegal un algoritmo, al utilizar como base jurídica una norma de los años 50, sin dar respuestas sobre el cumplimiento del RGPD. Cuya amplitud y abstracción puede ser un problema para abordar o detectar ciertas situaciones concretas; no obstante, también da más margen de actuación y no necesita modificarse cada vez que una nueva tecnología aparece en acción. Asimismo, consideramos que los tribunales están asumiendo una posición garantista ante las primeras constataciones de esta nueva realidad, poniendo en marcha una pluralidad de instrumentos jurídicos para aplacar los efectos discriminatorios de decisiones automatizadas y perfilados.

Quinta: Es preciso prestar atención al controvertido derecho a la explicación. Asumimos que las instituciones y compañías que utilizan decisiones automatizadas y perfilados deben proveer información suficiente, concisa y de fácil acceso a los interesados cuyos datos personales son tratados, haciendo efectivo el derecho al acceso a la información y a su vez los derechos del artículo 22 RGPD. Esto cobra especial relevancia en un ámbito de políticas públicas, donde incluso no siendo posible explicar con detalle a nivel usuario, será necesario articular mecanismos de salvaguarda sólidos para proporcionar la información significativa a la que se refiere el RGPD. Se torna complejo combatir sesgos y discriminaciones algorítmicas sin la posibilidad de saber siquiera que estamos siendo víctima de ellos.

Isaac Asimov en 1942 enunció las tres leyes de la Robótica, anticipándose décadas a la realidad. Quizás haya llegado el momento de que nuestra legislación enuncie las leyes de la Algoritmia.

BIBLIOGRAFIA

Libros

Garriga Domínguez, Ana. Nuevos retos para la protección de datos personales en la Era del Big Data y de la computación ubicua. Madrid: Dykinson, S.L., 2015.

Han, Jiawei. PEI, Jian y Kamber, Micheline. Data mining: concepts and techniques. Massachusetts: Elsevier, 2011.

Harari, Yuval Noah. Homo Deus. A brief history of tomorrow. Barcelona: Penguin Random House, 2017.

Hoffmann-Riem, Wolfgang. Big data. Desafíos también para el Derecho. Navarra: Cuadernos Civitas / Thomson Reuters, Cizur Menor: Civitas Thomson Reuters, 2018. (Traducción de KNÖRR ARGOTE, E.).

Kaiser, Brittany. La dictadura de los datos. Madrid, Ed. Harper Collins, 2019.

López Guerra, Luis. Espín, Eduardo. García Morillo, Joaquín. Pérez Tremps, Pablo y Satrústegui, Miguel. Derecho Constitucional. El ordenamiento constitucional, derechos y deberes de los ciudadanos. Vol.1, Valencia: Tirant lo blanch. 2016.

O’neil, Cathy. Armas de Destrucción Matemática. Madrid: Capitán Swing, 2017.

Pardo Falcón, Javier «Artículo 18.4 La Protección de Datos», en Rodríguez-Pinero, Miguel; Bravo Ferrer, María y Casas Baamonde, Emilia (dir.). Comentarios a la Constitución Española. Tomo 1. Madrid: Wolters Kluwer, BOE, TC y Ministerio de Justicia. Octubre, 2018.

The Royal Society. Machine learning: the power and promise of computers that learn by example. abril de 2017, https://royalsociety.org/~/media/policy/projects/machine-learning/publications/machine-learning-report.pdf (Última consulta: 7 de mayo de 2020).

Zuiderveen Borgesius, Frederik. Discrimination, artificial intelligence, and algorithmic decision-making. Strasbourg, Council of Europe. 2018.

Artículos publicados en revistas

Babuta, Alexander. y Oswald, Marion. «Data Analytics and Algorithmic Bias in Policing», Royal United Services Institute for Defence and Security Studies, https://rusi.org/sites/default/files/20190916_data_analytics_and_algorithmic_bias_in_policing_web.pdf (Última consulta: 15 de mayo de 2020).

Barocas, Solon. y Selbst, Andrew. «Big Data’s Disparate Impact», California Law Review, vol. 104, 2016, pp. 671-688.

Condlifee, Jamie. «An Amazon Drone Has Delivered Its First Products to a Paying Customer», MIT Technology Review, https://www.technologyreview.com/s/603141/an-amazon-drone-has-delivered-its-first-products-to-a-paying-customer/ (Última consulta: 7 de marzo de 2020).

Garriga Domínguez, Ana. «La elaboración de perfiles y su impacto en los derechos fundamentales. Una primera aproximación a su regulación en el RGPD», Revista Derechos y Libertades, núm. 38. Madrid: Dykinson, 2018, pp. 116 y 136.

Greenleaf, Graham. «Global tables of data privacy laws and bills», Privacy Laws & Business International Report, vol.145, 2017: 14-26, https://ssrn.com/abstract=2992986 (Última consulta: 28 de marzo de 2020).

Kim, Pauline. «Data-driven discrimination at work», William & Mary Law Review, 58, 2016, p. 884.

Lowry, Stella y Macpherson, Gordon. «A Blot on the Profession», British Medical Journal, vol. 296, 1988, p. 657.

Michalski, Ryzszard. «Understanding the Nature of Learning: Issues and Research Directions», Carbonell, Jaime y Mitchell, Tom (Coord.). Machine Learning: An Artificial Intelligence Approach, Volume II. California: Morgan Kaufmann Publishers, 1983, p. 8.

Ortiz López, Paula. «Dictamen del GT29 sobre la toma de decisiones individuales automatizadas y la elaboración de perfiles (WP 251)», Diario La Ley, núm. 11, sección Ciberderecho. Wolters Kluwer, noviembre, 2017, https://diariolaley.laleynext.es (Última consulta: 15 de mayo de 2020).

Selbst, Andrew y Powles, Julia. «Meaningful Information and the Right to Explanation», International Data Privacy Law (7,4). 2017.

Todolí Signes, Adrián. «La gobernanza colectiva de la protección de datos en las relaciones laborales: Big data, creación de perfiles, decisiones empresariales automatizadas y los derechos colectivos», Revista de Derecho Social, núm. 84, octubre, 2018, p.72.

Veale Michael y Edward Lilian. «Clarity, surprises, and further questions in the Article 29. Working Party draft guidance on automated decision-making and profiling», Computer law & security review, núm. 34, 2018, pp. 400 y 401.

Wachter, Sandra. Mittelstadt, Brent y Floridi, Luciano. «Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation», International Data Privacy Law (7,2). 2017.

Informes de instituciones

Agencia de los Derechos Fundamentales de la Unión Europea y Consejo de Europa. Manual de legislación europea contra la discriminación. 2018, https://www.echr.coe.int/Documents/Handbook_non_discri_law_SPA.pdf (Última consulta: 15 de mayo de 2020).

Agencia Española de Protección de Datos. Protección de Datos: Guía para el Ciudadano, https://www.aepd.es/sites/default/files/2019-10/guia-ciudadano.pdf (Última consulta: 28 de marzo de 2020).

Agencia Española de Protección de Datos. Adecuación al RGPD de tratamientos que incorporan Inteligencia Artificial. Una introducción. 2020, https://www.aepd.es/sites/default/files/2020-02/adecuacion-rgpd-ia.pdf (Última consulta: 7 de abril de 2020).

Agencia Española de Protección de Datos. Informe sobre el reconocimiento facial en servicios seguridad privada. 2020, https://www.aepd.es/es/documento/2019-0031.pdf (Última consulta: 2 de junio de 2020).

Comisión Europea. GT29. Opinion 03/2013 on Purpose Limitation. 2013, https://ec.europa.eu/justice/article-29/docu mentation/opinion-recommendation/files/2013/wp203_en.pdf (Última consulta: 15 de mayo de 2020).

Comisión Europea. GT29. Directrices sobre decisiones individuales automatizadas y elaboración de perfiles a los efectos del Reglamento 2016/679. (WP251). Adoptadas el 3 de octubre de 2017, revisadas por última vez y adoptadas el 6 de febrero de 2018, https://www.aepd.es/sites/default/files/2019-12/wp251rev01-es.pdf (Última consulta: 10 de mayo de 2020).

Comisión Europea. Libro Blanco sobre la inteligencia artificial - un enfoque europeo orientado a la excelencia y la confianza, 19 de febrero de 2020, https://ec.europa.eu/info/sites/info/files/commission-white-paper-artificial-intelligence-feb2020_es.pdf (Última consulta: 12 de mayo de 2020).

Comunicación de la Comisión Europea sobre la Inteligencia artificial para Europa, 25 de abril de 2018, Bruselas –COM (2018) 237 final, https://ec.europa.eu/transparency/regdoc/rep/1/2018/ES/COM-2018-237-F1-ES-MAIN-PART-1.PDF (Última consulta: 7 de abril de 2020).

European Parliamentary Research Service (EPRS). Understanding algorithmic decision-making: Opportunities and challenges. PE 624.261, marzo, 2019, https://www.europarl.europa.eu/RegData/etudes/STUD/2019/624261/EPRS_STU(2019)624261_EN.pdf (Última consulta: 17 de abril de 2020).

European Union Agency for Fundamental Rights. #BigData: Discrimination in data-supported decision making. 2018, https://fra.europa.eu/sites/default/files/fra_uploads/fra-2018- focus-big-data_en.pdf (Última consulta: 15 de mayo de 2020).

High-Level Expert Group on AI. A definition of AI: Main capabilities and disciplines. European Commission, 8 de abril de 2019, https://ec.europa.eu/digital-single-market/en/news/definition-artificial-intelligence-main-capabilities-and-scientific-disciplines (Última consulta: 7 de abril de 2020).

Ministerio de Asuntos Económicos y Transformación Digital. «El Gobierno pone en marcha el proceso de elaboración de una Carta de Derechos Digitales con la constitución de un grupo de expertos», a 16 de junio de 2020, https://www.mineco.gob.es (Última consulta: 20 de mayo de 2020).

Naciones Unidas. Special rapporteur y Amicus curiae. Caso de NJCM c.s./De Staat der Neederlanden SyRI enviado al Tribunal del Distrito de la Haya, https://www.ohchr.org/Documents/Issues/Poverty/Amicusfinalversionsigned.pdf (Última consulta: 15 de mayo de 2020).

TC. Gabinete del Presidente, Oficina de Prensa. Nota Informativa núm. 88/2019, https://www.tribunalconstitucional.es/NotasDePrensaDocumentos/NP_2019_088/NOTA%20INFORMATIVA%20N%C2%BA%2088-2019.pdf (Última consulta: 3 de mayo de 2020).

Universidad de Deusto. Declaración Deusto Derechos Humanos en Entornos Digitales, https://www.deusto.es/cs/Satellite/deusto/es/universidad-deusto/sobre-deusto-0/derechos-humanos-en-entornos digitales (Última consulta: 22 de mayo de 2020).

Documentos difundidos en internet

Battaglini Manrique de Lara, Manuela. «Cómo el Código Postal sirve para la discriminación de precios», a 18 de enero de 2020, https://www.linkedin.com/pulse/c%C3%B3mo-el-c%C3%B3digo-postal-sirve-para-la discriminaci%C3%B3n-de-manuela/ (Última consulta: 1 de marzo de 2020).

Carabaña, Carlos. «Cuatro casos en los que el ‘Big data’ pasó de útil a escalofriante», EL PAÍS, a 13 de agosto de 2015, https://elpais.com/elpais/2015/08/11/icon/1439304143_858615.html (Última consulta: 7 de marzo de 2020).

Crawford, Kate. «Think Again: Big Data. Foreign Policy», a 10 de mayo de 2013, https://foreignpolicy.com/2013/05/10/think-again-big-data/ (Última consulta: 1 de marzo de 2020).

Dastin, Jeffrey. Reuters. «Amazon abandona un proyecto de IA para la contratación por su sesgo sexista«, Reuters, a 14 de octubre de 2018, https://es.reuters.com/article/technology/idESKCN1MO0M4 (Última consulta: 28 de febrero de 2020).

Diariolaley. «Los derechos fundamentales no se compran o se venden, se respetan», Wolters Kluwer a 6 de julio de 2018, https://diariolaley.laleynext.es (Última consulta: 17 de abril de 2020).

Duhigg, Charles. «How Companies Learn Your Secrets», The New York Times Magazine, a 16 de febrero de 2012, https://www.nytimes.com/2012/02/19/magazine/shopping-habits.html (Última consulta: 7 de marzo de 2020).

Fernández, Carlos. «Primera sentencia europea que declara ilegal un algoritmo de evaluación de características personales de los ciudadanos», Wolters Kluwer a 13 de febrero de 2020, https://diariolaley.laleynext.es (Última consulta: 8 de abril de 2020).

Hamidi, Foad. Scheuerman, Morgan Klaus y Branham, Stacy. Gender Recognition or Gender Reductionism? The Social Implications of Automatic Gender Recognition Systems. Universidad de Maryland, a 21 de abril de 2018, https://dl.acm.org/doi/pdf/10.1145/3173574.3173582 (Última consulta: 16 de mayo de 2020).

Pascual, Manuel G. «¿Quién vigila que los algoritmos no sean racistas o sexistas?», Revista Retina, a 17 de marzo de 2019, https://retina.elpais.com/retina/2019/03/14/tendencias/1552564034_268678.html (Última consulta: 14 de marzo de 2020).

Peña, Elena. «Utilización de datos personales en la campaña electoral: ¿hasta dónde pueden llegar los partidos políticos?», a 27 de febrero de 2019, https://ecija.com/utilizacion- de-datos personales-en-la-campana-electoral-hasta-donde-pueden-llegar-los-partidos-politicos/ (Última consulta: 14 de abril de 2020).

Jorge, Miguel. «Los empleados de almacén en Amazon Reino Unido tienen tanto miedo de ir al baño que orinan en botellas», Gizmodo, 16 de abril de 2018. «En caso de tardar más del tiempo estipulado por la compañía para transportar objetos, los mozos de almacén recibían notificaciones de advertencia», https://es.gizmodo.com/los-empleados-de-almacen-en-amazon-reino-unido-tienen-t-1825291024 (Última consulta: 4 de abril de 2020).

Technolawgist. «Derechos humanos en un mundo de algoritmos: la sentencia histórica que ata en corto la implantación de modelos opacos», a 12 de febrero de 2020, https://www.thetechnolawgist.com (Última consulta: 17 de marzo de 2020).

Todolí Signes, Adrián. «Comentario a la Resolución de la Inspección de Trabajo sobre Deliveroo: Son laborales y no autónomos», Argumentos en Derecho Laboral, a 18 de diciembre de 2017, https://adriantodoli.com/2017/12/18/comentario-a-la-resolucion-de-la-inspeccion-de-trabajo-sobre-delivero-son laborales-y-no-autonomos/ (Última consulta: 4 de abril de 2020).

Tucker, Patrick. «¿Han hecho los grandes volúmenes de datos que el anonimato sea imposible?», MIT Technology Review, 16 de mayo de 2013, traducción de REYES, Francisco, https://www.technologyreview.es/negocios/43072/han-hecho-los-grandes-volumenes-de-datos-queel/ (Última consulta: 4 de abril de 2020).

Urbi, Jaden. Some transgender drivers are being kicked off Uber’s app, CNBC, a 8 de agosto de 2018, https://www.cnbc.com/2018/08/08/transgender-uber-driver-suspended-tech-oversight-facial-recognition.html (Última consulta: 14 de abril de 2020).

LEGISLACIÓN

Ley Orgánica 3/2007, de 22 de marzo, para la igualdad efectiva de mujeres y hombres (BOE núm. 71 de 23 de marzo de 2007).

Ley Orgánica 5/1985, de 19 de junio, del Régimen Electoral General (BOE núm. 147 de 20 de junio de 1985).

Ley 62/2003, de 30 de diciembre, de medidas fiscales, administrativas y del orden social (BOE núm. 313 de 31 de diciembre de 2003).

Ley Orgánica 3/2018, de 5 de diciembre, de Protección de Datos Personales y garantía de los derechos digitales (BOE núm. 294 de 6 de diciembre de 2018).

Real Decreto Legislativo 2/2015, de 23 de octubre, por el que se aprueba el texto refundido de la Ley del Estatuto de los Trabajadores (BOE núm. 255 de 24 de octubre de 2015).

Tratado de Funcionamiento de la Unión Europea, firmado en Roma el 25 de marzo de 1957 (DOUE núm. C 83/47 de 26 de octubre de 2012).

Tratado de la Unión Europea, firmado en Maastricht el 7 de febrero de 1992 (DOUE núm. C 83/13 de 29 de julio de 1992).

Carta de los Derechos Fundamentales de la Unión Europea (DOUE núm. C 83 de 30 de marzo de 2010).

Circular 1/2019, de 7 de marzo, sobre el tratamiento de datos personales relativos a opiniones políticas y envío de propaganda electoral por medios electrónicos o sistemas de mensajería por parte de partidos políticos, federaciones, coaliciones y agrupaciones de electores al amparo del artículo 58 bis de la LOREG (BOE núm. 60 de 11 de marzo de 2019).

Convenio para la Protección de los Derechos Humanos y de las Libertades Fundamentales de la Unión Europea, hecho en Roma el 4 de noviembre de 1950, y enmendado por los Protocolos adicionales números 3 y 5, de 6 de mayo de 1963 y 20 de enero de 1966, respectivamente. Instrumento de ratificación de España de 24 de noviembre de 1977 (BOE núm. 243 de 10 de octubre de 1979).

Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, aprobado el 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE (DOUE núm. L 119/3 de 5 de mayo de 2016).

Directiva 2000/43/CE del Consejo, de 29 de junio de 2000, relativa a la aplicación del principio de igualdad de trato de las personas independientemente de su origen racial o étnico (DOCE núm. L 180/22 de 19 de julio de 2000).

Directiva 2000/78/CE del Consejo, de 27 de noviembre de 2000, relativa al establecimiento de un marco general para la igualdad de trato en el empleo y la ocupación (DOCE núm. L 303/16 de 2 de diciembre de 2000).

Directiva 2006/54/CE del Parlamento Europeo y del Consejo de 5 de julio de 2006 relativa a la aplicación del principio de igualdad de oportunidades e igualdad de trato entre hombres y mujeres en asuntos de empleo y ocupación (refundición) (DOUE núm. L 204/23 de 26 de julio de 2006).

Directiva 2004/113/CE del Consejo, de 13 de diciembre de 2004 por la que se aplica el principio de igualdad de trato entre hombres y mujeres al acceso a bienes y servicios y su suministro. (DOUE núm. L 373/37 de 21 de diciembre de 2004).

JURISPRUDENCIA NACIONAL

STC 91/2019, de 3 de julio de 2019. BOE, 12 de agosto de 2019, núm. 192.

STC 76/2019, de 22 de mayo de 2019. BOE, 25 de junio de 2019, núm. 151.

STC 324/2006, de 20 de noviembre de 2006. BOE, 20 de diciembre de 2006, núm. 303.

STC 253/2004, de 22 de diciembre de 2004. BOE, 21 de enero de 2005, núm. 18.

STC 128/1987, de 16 de julio. BOE, de 11 de agosto de 1987, núm. 191.

JURISPRUDENCIA INTERNACIONAL

Sentencia de Tribunal de Distrito de La Haya de 5 de febrero de 2020, Case of SyRI, ECLI:NL:RBDHA:2020:865, https://uitspraken.rechtspraak.nl/inziendocument?id=ECLI:NL:RBDHA:2020:1878 (Última consulta: 15 de mayo de 2020).

Sentencia del Tribunal Europeo de Derechos Humanos de Estrasburgo de 24 de mayo de 2016. Biao contra Dinamarca, núm. 38590/10, https://hudoc.echr.coe.int/eng#{%22itemid%22:[%22001-163115%22]} (Última consulta: 15 de mayo de 2020).

Sentencia del tribunal de justicia (Sala Segunda) de 10 de julio de 2008, as. C-54/07, Centrum voor gelijkheid van kansen en voor racismebestrijding/Firma Feryn NV. ECLI:EU:C: 2008:397 (Última consulta: 15 de mayo de 2020).

Sentencia del tribunal de justicia de 13 de mayo de 1986, as. 170/84, Bilka - Kaufhaus GmbH/ Karin Weber Von Hartz, ECLI:EU:C:1986:204 (Última consulta: 15 de mayo de 2020).

Lista de abreviaturas y acrónimos utilizados en este trabajo

AEPD Agencia Española de Protección de Datos

Art. Artículo

BOE Boletín Oficial del Estado

CDFUE Carta de los Derechos Fundamentales de la Unión Europea

CE  Constitución Española

CEDH Convenio Europeo de Derechos Humanos

CEPD Comité Europeo de Protección de Datos

DOCE Diario Oficial de las Comunidades Europeas

DOUE Diario Oficial de la Unión Europea

EE. UU. Estados Unidos

EIPD Evaluación de Impacto de Protección de Datos

ET  Estatuto de los trabajadores

FRA Agencia de los Derechos Fundamentales de la Unión Europea

GT29 Grupo de Trabajo del Artículo 29

IA  Inteligencia Artificial

LO  Ley Orgánica

LOREG Ley Orgánica 5/1985, de 19 de junio, del Régimen Electoral General

ML Machine learning

RAE Real Academia Española

RGPD Reglamento Europeo General de Protección de Datos 2016/679 de 27 de abril de 2016

SEPD Supervisor Europeo de protección de datos

STC Sentencia del Tribunal Constitucional

SSTC Sentencias del Tribunal Constitucional

STJUE Sentencia del Tribunal de Justicia de la Unión Europea

TC  Tribunal Constitucional

TEDH Tribunal Europeo de Derechos Humanos

TFUE Tratado de Funcionamiento de la Unión Europea

TJUE Tribunal de Justicia de la Unión Europea

TUE Tratado de la Unión Europea

UE  Unión Europea

---