Flor Plaza del Arco, una investigadora de 29 años originaria de Villacarillo, Jaén, ha llevado la intersección de lenguaje, tecnología y sociedad a nuevas alturas en su investigación estadística. En su trabajo, Plaza del Arco analiza las emociones presentes en los textos de las redes sociales para detectar delitos de odio. Estos delitos son comentarios que discriminan a personas por sus características, como el género, la raza, la procedencia o una discapacidad.
Además, Plaza del Arco también está en la búsqueda de formas de identificar y mitigar los sesgos o estereotipos presentes en modelos de lenguaje, como ChatGPT. Su trabajo ha sido reconocido por la Sociedad Científica Informática de España (SCIE) y la Fundación BBVA, quienes le otorgaron un premio que incentiva a investigadores jóvenes en informática.
Al explicar su trabajo de inteligencia artificial (IA), Plaza del Arco lo compara con la educación de un niño. Enseña al modelo, como si fuera un niño, a «hablar» en español, y luego le enseña a detectar discursos de odio, ajustando el modelo a medida que crece. Actualmente, trabaja como investigadora postdoctoral de informática en la Universidad de Bocconi en Milán.
Los delitos de odio más comunes que ha encontrado en las redes sociales son el sexismo y la discriminación hacia la migración. También ha observado la misoginia, y ha desarrollado varios modelos y recursos para ayudar a detectar estos delitos. Sin embargo, advierte que uno de los riesgos de estos modelos son los sesgos y estereotipos que producen, ya que se entrenan con los datos presentes en internet, como los de Wikipedia, y estos datos son un reflejo de la sociedad.
Un ejemplo de estos sesgos es cómo los modelos de lenguaje asocian a las mujeres con emociones como la tristeza o emociones relacionadas con el cuidado, mientras que asocian a los hombres con el orgullo, la ambición o la agresividad. Otro ejemplo es el algoritmo de Google que etiquetaba a las personas de color como gorilas, lo que generó un gran escándalo y obligó a Google a buscar una solución al error.
Para mitigar estos sesgos, se necesita una combinación de datos de calidad, que no contengan información personal, y la revisión humana. La IA también puede ser útil para detectar temas de seguridad, sesgos y estereotipos.
Para detectar delitos de odio, la IA necesita aprender el lenguaje y las expresiones específicas de un idioma. Plaza del Arco ha trabajado en el desarrollo de recursos para enseñar a los sistemas de IA a detectar discursos de odio en español. Aunque los modelos de IA son principalmente para inglés, es crucial tener modelos que entiendan diferentes idiomas, ya que todos los usan, no solo una persona de un determinado país.
La mitigación de los sesgos de los modelos de IA es un proceso que requiere la evaluación de la calidad de los datos durante el entrenamiento del modelo y ajustes después de que el modelo ha aprendido estos datos. Es un trabajo multidisciplinario que necesita de filósofos, sociólogos, psicólogos, entre otros, para ayudar a desarrollar modelos inclusivos, éticos, justos y responsables.
Para promover un entorno más seguro en las redes sociales, es fundamental la investigación para combatir el discurso de odio y la desinformación. La IA puede ayudar a detectar contenido ofensivo o desinformación y enviar alertas a los moderadores de contenido. También puede identificar si detrás de un contenido hay una persona real o un bot, y detectar spam.
El discurso de odio en las redes sociales es un problema serio, y la IA puede ser una herramienta valiosa para combatirlo. Pero también es crucial la educación desde una edad temprana sobre los riesgos de las redes sociales y cómo utilizarlas de manera segura y responsable. Como señala Plaza del Arco, todos debemos aprender a utilizar las redes sociales de manera segura y responsable, y saber cómo responder y buscar ayuda si somos víctimas de un delito de odio en las redes.
