Un caso emblemático en el Departamento de Derechos Sociales

Uno de los primeros consejeros del Departamento de Derechos Sociales de la Generalitat recibió hace años a una familia a quien no habían concedido una subvención para familias con hijos con discapacidad. La familia sobrepasaba la renta familiar límite para obtener el subsidio y el sistema rechazó automáticamente la petición. “Si superamos la renta es porque nos deslomamos a trabajar para ahorrar un dinero que proteja a nuestro hijo cuando nosotros ya no estemos para ocuparnos de él”, reprocharon los padres. La conversación acabó con una rectificación del Departamento, que abonó finalmente la ayuda tras conocer la situación familiar.

La Autoritat Catalana de Protección de Datos y la Humanización de la IA

La historia aún se recuerda en los pasillos de la Autoritat Catalana de Protección de Datos (APDCat) y su trasfondo ha impulsado la entidad a humanizar los algoritmos y la inteligencia artificial. El organismo ha presentado este martes en el Parlament de Catalunya una metodología pionera en Europa para “evitar la discriminación y los sesgos” en aquellos casos en los que la inteligencia artificial tenga un papel fundamental a la hora de tomar decisiones. “Tenemos que supervisar los sistemas de inteligencia artificial”, reclama Meritxell Borràs, presidenta de la APDCat.

Reglamento del Consejo Europeo sobre la IA

Ante el auge imparable de la IA, el Consejo Europeo aprobó el año pasado la entrada en vigor de un reglamento que obliga a realizar una evaluación de impacto en los derechos fundamentales en aquellos productos y servicios que utilizan la inteligencia artificial. Sin embargo, entiende la APDCat, “no hay directrices en Europa de cómo hacerlo”. La propuesta catalana propone un método concreto para cuantificar este impacto a través de un modelo de matrices.

La teoría del riesgo aplicada a la IA

Según la teoría del riesgo, el impacto de los sistemas consta de dos dimensiones clave, la probabilidad y la gravedad, y su combinación proporciona un índice de riesgo de la IA. En función de este índice los proveedores tecnológicos deben intervenir para mitigar este riesgo hasta que sea “residual”. “Que los humanos tomen decisiones automáticas en función de la IA plantea diversas preocupaciones sobre la lógica de la propia inteligencia artificial; y es importante conocer los efectos secundarios de esta tecnología”, insiste la Autoridad.

Casos internacionales de uso de IA

Los límites a la IA pretenden anticipar el posible daño a los usuarios, que ya ha obligado a varias administraciones a mover ficha. Un tribunal neerlandés consideró en 2020 que el Gobierno del país utilizaba un sistema de análisis que “estigmatizaba y discriminaba” la ciudadanía para rastrear posibles fraudes al Estado; y en Nueva York (Estados Unidos) se reguló en 2023 el uso de algoritmos en los procesos de selección para evitar “prejuicios raciales o sexistas”. También en los EE. UU., un análisis del MIT Technology Review concluyó en 2021 que el sistema Compas, muy extendido en el país y que informa a los jueces del riesgo de reincidencia de los presos, discrimina a determinadas minorías, especialmente a los negros.

Preocupaciones sobre la IA externa

Los expertos también alertan de aquellos procesos donde la IA llega de fuera. “Los modelos entrenados fuera de Europa que llegan a nuestro continente no tienen las mejores garantías para desarrollarse aquí porque no están pensados en un contexto europeo”, defiende Alessandro Mantelero, profesor de la Universidad Politécnica de Turín (Italia), uno de los desarrolladores de la metodología catalana.