Simón Castellano, Pere, La evaluación de impacto algorítmico en los derechos fundamentales, Aranzadi, 2023. pp. 160. ISBN: 978-84-1124-621-7.

https://doi.org/10.18543/ed.3117

Fecha de recepción: 09.02.2024

Fecha de aceptación: 10.05.2024

Fecha de publicación en línea: junio 2024

La obra de cuya recensión me ocupo con gustoso interés jurídico es de la autoría individual del Prof. Dr. Pere Simón Castellano, Profesor Titular de Derecho Constitucional en la Universidad Internacional de La Rioja y cuenta con el excelente prólogo del Prof. Dr. Fernando Miró Linares, Catedrático de Derecho Penal en la Universidad Miguel Hernández de Elche.

Este trabajo es fruto del concienzudo estudio que sobre inteligencia artificial y protección de datos de carácter personal ha venido desarrollando el autor de la obra, como investigador jurídico, en los últimos tiempos[1]. El libro combina un enfoque teórico y práctico, centrándose en examinar los criterios a considerar para el diseño y utilización de las herramientas normativas que, en el futuro –muy– próximo, deberían orientar el avance e implementación de sistemas que operen con inteligencia artificial, los cuales ponen sobre la mesa un importante desafío en lo que concierne a la salvaguarda de los conocidos como derechos fundamentales, especialmente, derecho a la intimidad, derecho a la autodeterminación informativa y derecho al entorno virtual.

El autor parte del análisis de la naturaleza jurídica de las evaluaciones de impacto algorítmico en nuestro ordenamiento jurídico, prestando especial atención a cómo se efectúa la recepción de una práctica habitual en los modelos del derecho común que, al margen de las pautas éticas a las que obedecen, se sustentan en un traspaso de la responsabilidad y el deber de ponderar, una labor que ahora se requiere a las empresas y administraciones públicas involucradas.

La monografía, que demuestra un magnífico dominio de la metodología investigadora y un excelso manejo de fuentes doctrinales, legales y jurisprudenciales, se encuentra perfectamente estructurada en dos partes bien diferenciadas, situadas tras una introducción, a modo de análisis del estado de las cosas, y colocadas de forma lógicamente previa a las conclusiones y al epílogo (habiendo sido este último redactado por el Prof. Dr. Mario Caterini, Profesor de Derecho Penal de la Universidad de la Calabria y Director del Istituto di Studi Penalistici “Alimena” – ISPA).

Adentrándonos ya en el contenido de la monografía, hemos de reseñar que la primera parte lleva por título “La evaluación de impacto algorítmico (EIA) y la ponderación de derechos fundamentales”. En la misma, inicialmente y como una suerte de introducción o composición de lugar, se toma como punto de partida el estudio de los antecedentes y el origen del principio de responsabilidad proactiva para descender a continuación al análisis de la ponderación ex ante de los derechos fundamentales que entran en juego. En este contexto y como no podía ser de otra forma, se alude al principio de proporcionalidad en el marco judicial y como límite interno a la función del legislador, teniendo en cuenta que este parámetro conforma, al fin y a la postre, el límite a los límites de los derechos fundamentales.

De manera más concreta, también en esta primera parte, se pone el acento en los particulares y las administraciones públicas con funciones de evaluación y ponderación de derechos ex ante. Asimismo, se comenta el precedente de la Agencia Española de Protección de Datos y su expansión de competencias. Amén de lo anterior, el autor no deja de lado los aspectos más palpables de la práctica jurídica y así analiza el llamado derecho al olvido, sugiriendo (como objeto de cuestionamiento) la siguiente hipótesis: ¿un falso derecho, a juzgar por un falso tribunal? De igual modo, analiza la Ley de Inteligencia Artificial tratándola como una norma basada en el enfoque de riesgo.

Seguidamente desciende al estudio del contenido de la evaluación de impacto algorítmico (EIA) y el juicio de proporcionalidad, donde se deben tener en cuenta determinados presupuestos que va desgranando en diferentes subapartados:

1.El objeto de evaluación (decisión algorítmica automatizada) y los límites de los sistemas de IA (Inteligencia Artificial) en función de la tecnología concreta.

2.La publicidad de los informes EIA (Evaluación del Impacto Algorítmico) y la obligación de registro público.

3.La gestión interna de (auto) evaluaciones de impacto algorítmico, dirigida en la línea de lograr la construcción de un modelo de Inteligencia Artificial confiable que resulte acorde a las exigencias del debido proceso, la justicia y la equidad.

4.El acceso significativo por parte de desarrolladores, investigadores y auditores, que debe conducir a la continua revisión y mejora del sistema[2].

5.La evaluación de impacto dispar.

El broche a esta primera parte lo ponen, de un lado, el examen de la naturaleza jurídica y el papel de las EIA en la protección efectiva de los derechos fundamentales y, de otro lado, la consideración de las EIA como herramienta esencial para la minimización de riesgos, sesgos y daños (elementos que precisamente constituyen las principales afrentas que los modelos algorítmicos plantean para los derechos fundamentales).

La segunda parte se expone bajo el título “Metodología para la evaluación de impacto algorítmico (EIA). Modelos en perspectiva comparada”. Y el autor concentra aquí su atención, primeramente, en proporcionar una definición para el contexto, alcance y naturaleza del sistema de Inteligencia Artificial (IA), lo que se configura como punto de partida para la Evaluación del Impacto Algorítmico (EIA). Acto seguido, examina la perspectiva de la EIA, haciendo especial hincapié en los siguientes puntos: consecuencias, derechos e intereses legítimos potencialmente empleados, tecnología utilizada, terceros implicados (como proveedores, clientes, vendedores, auditores y desarrolladores –resaltando la mención al denominado Third Party Risk Management–) y principales riesgos (entre los que destacan fundamentalmente: la desinformación, la discriminación –y la evaluación del impacto dispar–, la indefensión, así como el fenómeno de segunda oportunidad algorítmica).

Ulteriormente, el investigador se detiene en el examen de los elementos de la EIA, la motivación y la ponderación, explicando los criterios para constatar que se cumplen debidamente el juicio de necesidad (relativizado), el juicio de idoneidad y el juicio de proporcionalidad en sentido estricto.

Por último, se facilita una visión de derecho comparado, que enriquece notablemente la obra y en la cual se comentan, desde una óptica de análisis crítico, los aspectos esenciales de distintos modelos de EIA y, en particular, los que se relacionan a continuación:

El canadiense Algorithmic Impact Asssessment

La herramienta AIA del Gobierno de Estados Unidos

El modelo FRAIA de Países Bajos

OEIAC. El modelo PIO (Principios, Indicadores y Observables)

Igualmente, se hace referencia al Ada Lovelace Institute y al Model Rules del European Law Institute

Llegados a este punto y tras haber resumido el contenido sustancial de la obra, no podemos hacer otra cosa más que aconsejar su manejo como libro de cabecera en el marco de la denominada nueva era digital. Sin duda, se trata de un referente en lo que respecta al uso y aplicación garantista de los algoritmos en el ámbito jurídico, pues, si bien resulta absurdo e inútil situarse de espaldas a los avances tecnológicos y de la IA, tampoco cabe tolerar que los mismos deriven en la pérdida de la salvaguarda de los derechos fundamentales.

La obra, de extensión adecuada, resulta amena y clarificadora. La lectura de sus distintos apartados permite ilustrarse acerca de prácticamente todos los extremos controvertidos y de relevancia en materia de IA aplicada al campo jurídico. Asimismo, proporciona respuestas a diversas cuestiones de incidencia y repercusión práctica y social.

Los juristas no podemos permanecer ajenos a este nuevo paradigma y hemos de concentrar nuestros esfuerzos en comprender, como bien señala, SIMÓN CASTELLANO, los efectos del principio de responsabilidad proactiva, tratando de definir, con criterios jurídicos estables, los elementos que deben formar parte de ese juicio y cómo deben interpretarse los resultados. No podemos eludir los avances que vienen de la mano de la tecnología y la Inteligencia Artificial, pero hemos de aprender a utilizarlos de manera fidedigna y garante. Precisamente, a esta labor contribuye la monografía que nos ocupa.

Además, coincidiendo con la tónica que mantiene el autor, no podemos perder de vista, en esta temática que supone un claro desafío jurídico-práctico, que “existen tantos modelos de EIA como tipos de IA, posibles usos y actores implicados. Sin embargo, no es imposible y, de hecho, es más que aconsejable, hacer un esfuerzo por tratar de sistematizar y categorizar una serie de cuestiones, factores, parámetros y elementos que deben analizarse en todo caso y que, en función de la respuesta, permitirá establecer unos niveles de riesgo inherente muy cercanos a la realidad”.

María Victoria Álvarez Buján

Profesora Contratada Doctora.

Universidad Internacional de La Rioja, España

https://orcid.org/0000-0001-5858-8984

---