Arjun Subramonian (Estados Unidos, 24 años) creció por casualidad en California, un lugar conocido por el glamour de Hollywood y sobre todo por ser la meca de la innovación tecnológica. El Estado Dorado es cuna de cientos de industrias informáticas aglutinadas en Silicon Valley, un ambiente que le llevó a imaginar en su infancia cómo los ordenadores impulsarían vanguardistas automóviles que los humanos conducirían en el futuro. Pero algo cambió en la percepción de Subramonian cuando cursaba la carrera de Ciencias de la Computación en la Universidad de California. En esa época se declaró abiertamente gay y pensaba a diario en la marginación del colectivo LGBTIQ+, que figura un 20% menos en el espacio tecnológico. “Hay grandes modelos de lenguaje entrenados con información de Internet. Y todos sabemos, que si eres mujer, negro u homosexual, ese lugar será muy tóxico para ti”, reflexiona sobre los sesgos algorítmicos o de machine learning, una serie de prejuicios no deseados que afectan a los sistemas de inteligencia artificial (IA) generativa.

La lucha contra los sesgos en la IA

El aprendizaje automático no se libra de los resultados sesgados que provocan que cientos de distorsiones caigan como dardos contra grupos tradicionalmente excluidos de la sociedad, que al mismo tiempo, se encuentran subrepresentados en las disciplinas STEM. Subramonian es uno de los principales impulsores de Queer in AI, una organización que surgió a mediados de 2020 para visibilizar la diversidad en la producción científica con activistas distribuidos en más de 47 países del mundo. “La censura es uno de los mayores daños que veo a corto plazo”, advierte.

Censura y listas de bloqueo en plataformas de mensajería

Subramonian recuerda que durante la pandemia, los activistas se reunieron en una plataforma de mensajería llamada Rocket Chat. Cuando intentaban conversar entre sí, se percataron de que el término queer, por alguna razón, no se estaba enviando. “Nos veíamos obligados a evitar esa palabra porque impedía que se mandaran los mensajes”, cuenta. Esto ocurre, de acuerdo a Subramonian, porque existen listas de bloqueo con IA que moderan el contenido generado por los usuarios para que cumplan con las pautas y políticas de una plataforma. Se trata de un proceso digital que puede filtrar y administrar los datos de textos, imágenes, videos e incluso transmisiones en vivo.

Impacto negativo de los sesgos en sistemas de reconocimiento

“A menudo se identifica a ciertas palabras como inapropiadas”, explica. Hasta 2012, por ejemplo, Google consideraba el término bisexual como un tipo de pornografía. Los datos son la materia prima de la IA y cuando es entrenada con información parcial, la máquina puede entregar respuestas bastante limitadas. Una situación de este tipo le ocurrió a Ilia S. (Rusia, 29 años), una persona transgénero y activista por los derechos humanos asentada en Tailandia que dejó su país natal después de que estallara la guerra en Ucrania en 2022. “Mi voz es muy andrógina, a menudo el tono fluctúa y me confunden con una anciana y en algunos casos, con mi madre”, cuenta el abogado, que opta por no revelar su nombre completo para resguardar su seguridad.

El momento más angustiante que ha experimentado con un sistema de IA fue con su banco, cuando vivía en Rusia. Debía verificar una transacción que no se realizó. El ejecutivo de la entidad bancaria comenzó a realizarle preguntas específicas e inusuales como su lugar de nacimiento y cuánto saldo tenía disponible en la cuenta. “No eres tú”, fue el mensaje que obtuvo, ya que esa era la conclusión del sistema de reconocimiento de voz con IA. Luego, el abogado recibió una amenaza de bloqueo de tarjeta por fraude. “Estaba casi llorando porque no podía demostrar que era yo”, dice. “Ahora está la opción de hacer videollamadas para comparar tu cara con la foto, pero en muchas plataformas esto no es así”, aclara.

La censura de lo queer

Los sesgos en el contenido pueden provocar resultados perjudiciales y equivocados, intencionados o no, en Internet. Arjun Subramonian tuvo una experiencia de este tipo con su biografía. En una ocasión se topó con un texto creado con IA generativa que recopiló toda su información en línea. El problema fue que tenía los pronombres incorrectos, pues es una persona no binaria. El error se conoce como misgender, un fenómeno que afecta a la población transgénero e intersexual. “El contenido es monitoreado y está fuera de tu control. Eso genera mucha censura con el aspecto queer de tu identidad”, reflexiona.

Para Ilia S., este es un problema universal que padecen las personas trans que sufren dificultades de este tipo. El jurista ruso lleva trabajando como activista desde 2013, mismo periodo en el que Vladímir Putin promulgó la ley contra la propaganda LGBTIQ+. Desde que la medida está vigente, la cantidad de contenido sobre estos temas en los sitios web rusos ha ido desapareciendo, algo que también ha afectado a los sistemas de búsqueda de libros de las bibliotecas públicas. “Si ingresas ciertos términos relacionados con contenido LGBTIQ+, no puedes encontrar nada porque se eliminaron los títulos”, asegura.

Otras fallas detectadas por los expertos es en los sistemas de reconocimiento facial, que son herramientas capaces de asimilar el rostro de personas a través del género, edad y características faciales. La cara de Ilia tampoco se lee correctamente con algunas de estas aplicaciones, como MidJourney. Se trata de un software que genera imágenes a partir de texto y ahora con la función Character Reference, también puede hacerlo con fotos de rostros humanos. En una versión antigua de este programa, el rostro no pudo ser procesado.

“A veces estas aplicaciones leen mi cara como una persona mayor o generan monstruos. Cuando Midjourney introdujo la referencia de personajes, mejoró mucho”, asegura.

Ni buena ni mala

Aunque la IA es capaz de reproducir la homofobia, el machismo o el racismo ―un estudio de la Universidad de Deusto ya alertaba de esto en 2023―, en realidad no es buena ni mala, opina Cristina Aranda (Madrid, España, 48 años), doctora en Lingüística Teórica y cofundadora de Big Onion. “Es como mi lavadora, yo decido qué programa poner y la mayoría de las empresas que toman decisiones están compuestas por hombres heterosexuales de mediana edad, educados en las mismas universidades y que probablemente celebran barbacoas juntos”, ironiza.

La experta, que trabaja con empresas para automatizar procesos con el lenguaje, cree que el sector tecnológico también necesita perfiles de humanidades. “No hay nada más filológico que la palabra”, dice. En esa línea, Adio Dinika (Zimbabue, 33 años), politólogo e investigador en el Instituto de Investigación sobre Inteligencia Artificial Distribuida (DAIR, por sus siglas en inglés), piensa que “no es una herramienta que inventa cosas”, sino más bien un producto en el que prevalece la visión de un hombre blanco: “Silicon Valley vino a determinar la agenda de la IA”.

Hace algunos años, Aranda hizo un curso sobre cómo ayudar a las marcas a posicionarse en los buscadores cuando estaba en paro y ahí tuvo una epifanía. “No había reparado que cuando realizamos búsquedas en Internet escribimos palabras. Google no deja de ser un buscador un poco léxico-semántico”, cuenta. Aranda se refiere, en términos simples, al vocabulario, la jerarquización de los significados y la interpretación de las palabras que realizan las plataformas.

El 80% de los datos que hay en Internet no son estructurados, como las publicaciones en redes sociales, la videovigilancia o los datos meteorológicos, y es importante que otros profesionales, como psicólogos o antropólogos, también se involucren en el proceso de clasificación. “Estos sistemas son listos, pero asombrosamente tontos porque les falta esta inteligencia social. ¡Vamos! Les falta calle”, enfatiza Aranda.

Existe un feudalismo tecnológico y son las grandes compañías las que “están decidiendo qué se hace con esa inteligencia artificial”, agrega. Ilia, por su parte, cree que instaurar un marco regulatorio universal “es muy difícil” para evitar estos problemas. Por el contrario, los otros expertos consultados coinciden en que sí deberían establecerse ciertos parámetros para atajar estos sesgos.

“Gran parte de la tecnología que vemos la desarrollan corporaciones en función del capitalismo de vigilancia. La población está siendo sujeta a las decisiones de estos sistemas y solo por eso creo que es muy importante”, concluye Arjun Subramonian.