El sistema penitenciario catalán ha estado utilizando durante 15 años un algoritmo, conocido como RisCanvi, que se supone ayuda a los jueces a tomar decisiones sensibles, como conceder la libertad condicional o el tercer grado. Sin embargo, una auditoría inversa llevada a cabo sin acceso a datos oficiales ha cuestionado la contribución de este programa al proceso de toma de decisiones. «El sistema que hemos auditado parece comportarse de forma aleatoria, en el sentido de que combinaciones similares de factores y comportamientos de presos pueden derivar en la asignación de niveles de riesgo muy distintos», señala el informe elaborado por Eticas Foundation.
En España, cuando un recluso solicita ciertos permisos penitenciarios, el juez que debe autorizar o denegar la petición recibe un informe sobre el interno. Este documento, elaborado por profesionales del centro en el que está alojado, proporciona elementos como historial y conducta para apoyar la decisión. En Cataluña, parte de este informe lo elabora el algoritmo RisCanvi, que calcula el riesgo de reincidencia del sujeto en función de una serie de variables a las que otorga distintos pesos. Sin embargo, esta información clave, la estructura del algoritmo, no es pública.
Pese a lidiar con un tema tan sensible como los permisos penitenciarios, RisCanvi no ha sido sometido a un proceso de evaluación de impacto, como lo exige el Reglamento Europeo de Inteligencia Artificial. «Aunque el algoritmo de RisCanvi no usa inteligencia artificial (IA), sino que es actuarial, al tratarse de un proceso técnico que toma decisiones vinculadas a temas de alto riesgo, como justicia criminal y asuntos penitenciarios, entra dentro de la definición amplia de IA que hace el reglamento, y, por tanto, está sometido a la normativa», destaca Gemma Galdon, fundadora y consejera delegada de Eticas.ai, firma especializada en auditorías algorítmicas en la que se enmarca Eticas Foundation.
Tras rechazar la Generalitat la oferta de una auditoría convencional gratuita, el equipo de Galdon decidió llevar a cabo una auditoría inversa. Este tipo de análisis toma su nombre de la ingeniería inversa, un proceso utilizado para obtener información sobre los componentes y el proceso de fabricación de un producto a partir de un ejemplar acabado. En el caso de RisCanvi, los investigadores de Eticas comenzaron entrevistando a seis exreclusos a quienes se les había aplicado el algoritmo, así como a dos educadores sociales familiarizados con él, tres psicólogos especializados, cuatro juristas y un activista. Además, analizaron datos públicos de 3.600 individuos que salieron de prisiones catalanas en 2015. Con esta información, intentaron evaluar los efectos del algoritmo para comprender cómo funciona.
El informe de la auditoría resalta que RisCanvi es un sistema desconocido para los reclusos a quienes afecta, que no es de confianza para muchos de los que trabajan con él y que es opaco. Además, no se ha adherido a la regulación vigente sobre el uso de sistemas de toma de decisiones automatizadas en España, donde se exigen auditorías de IA desde 2016. «Pero, sobre todo, nuestros datos demuestran que RisCanvi puede no ser justo ni fiable, y que no ha conseguido estandarizar los resultados y limitar la discrecionalidad», señala el informe.
Uno de los psicólogos entrevistados para elaborar el informe dice que muy pocos internos saben que están siendo evaluados por RisCanvi. «No saben que este algoritmo decide la calidad y circunstancias de los beneficios penitenciarios que disfrutarán», refleja la auditoría. «No creo que una herramienta pueda predecir el comportamiento humano. Aunque, recoja mucha información y el resultado que arroja sea aparentemente objetivo, estamos hablando de personas», argumenta un abogado consultado por el equipo de Eticas.
RisCanvi se actualiza cada seis meses con datos aportados al sistema por los funcionarios, que introducen en el ordenador los informes que van elaborando sobre los reclusos. Se aplica primero una versión corta del sistema (RisCanvi Screening), que consta de diez ítems, desde el historial violento del recluso (si lo hubiere) o la edad a la que delinquió por primera vez hasta si ha tenido o tiene problemas con las drogas o el alcohol o si dispone de recursos y apoyo familiar.
El resultado que arroja el algoritmo puede ser riesgo bajo o riesgo alto. En caso de que sea alto, se activa la versión extendida de RisCanvi, compuesta por 43 elementos y para cuya elaboración también es necesario que un funcionario realice una entrevista pautada con el interno. En la versión completa de RisCanvi se tienen en cuenta cuestiones como la distancia entre su domicilio y la cárcel, la historia criminal de su entorno, el nivel educativo, dificultades de socialización, cociente intelectual, desórdenes de personalidad, si el interesado es la principal fuente de ingresos de la familia o su nivel de impulsividad e inestabilidad emocional. Cada uno de estos elementos es ponderado automáticamente y su peso varía dependiendo del sexo, la edad y la nacionalidad. El veredicto final del algoritmo puede ser riesgo bajo, medio o alto.
Sin embargo, el peso que se le asigna a cada una de estas variables en la fórmula, una información clave para saber cómo funciona el algoritmo, no es público. Algunos defensores de esta herramienta argumentan que, si se dieran a conocer, los reclusos sabrían qué hacer para tratar de adulterar el resultado de la evaluación de RisCanvi con pequeñas acciones para que favorezca a sus intereses. Galdon no entiende esa crítica. «Saber en función de qué se te está juzgando es una norma básica de los Estados de derecho. Plantear que eso es un problema es no entender en qué se basan cosas muy fundamentales de nuestro sistema jurídico», explica.
Hay expertos que consideran inútil hacer una auditoría algorítmica, o que incluso ejecutar algo así supone legitimar una forma de funcionar que lleva lustros en entredicho. «Sobre el método actuarial se han escrito ríos de tinta explicando por qué contradice el concepto de justicia de nuestra cultura legal, que es metodológicamente individualista, pero se vale de un método genérico estadístico (y con ello no individual) para evaluar a una persona», sintetiza Lorena Jaume-Palasí, experta en ética algorítmica y asesora del Parlamento Europeo, entre otras instituciones.
«El algoritmo intenta hacer a todos iguales. Pretende ayudar a los profesionales a que su trabajo sea más eficiente, pero no es vinculante», ha dicho en una entrevista Antonio Andrés Pueyo, catedrático de Psicología de la Violencia de la Universitat de Barcelona y director del grupo de investigación que desarrolló RisCanvi.
«No es vinculante, pero es obligatorio», responde Jaume-Palasí. La experta cree que va siendo hora de explicar cuál es la tarea de la justicia «y por qué este tipo de sistemas no constituyen un cambio en el proceso administrativo, sino que son un método antiguo que simplemente se ha digitalizado para seguir haciendo lo que se ha hecho siempre».
