¿Son los sesgos sociales en los grandes modelos de lenguaje (LLM) uniformes en todas las tareas generativas?
Muitze Zulaika ha presentado en el congreso LREC 2026 —Language Resources and Evaluation Conference, celebrado en Palma de Mallorca— el trabajo de investigación titulado Are Social Biases in LLMs Consistent Across Generative Tasks? A Case Study for Basque.
En el trabajo se ha analizado si los LLM —entre ellos ChatGPT, Kimu y Latxa— reproducen sesgos sociales de forma consistente en distintos tipos de tareas de generación de texto en euskera. Es decir, si un LLM tiende a mostrar un sesgo más acusado en una tarea concreta o si ese mismo sesgo negativo se manifiesta de forma similar en todas las tareas. Para ello, el equipo de Orai ha creado el primer benchmark —o banco de pruebas— para medir sesgos sociales en tareas generativas en euskera. El benchmark incluye 12 tipos de tareas: generación de historias, cuestionarios, roleplay, razonamiento, inferencia lógica, resumen, generación de titulares, publicaciones en redes sociales, juicio moral, definición de objetivos educativos, poesía y guiones. “En cada caso, los modelos deben realizar una tarea de generación de texto que involucra a grupos sociales potencialmente vulnerables —por ejemplo, por su edad, origen, identidad de género o apariencia física—, y analizamos si los contenidos generados muestran sesgos hacia esos grupos”, explica Zulaika.
Los resultados del trabajo muestran que los LLM no manifiestan los sesgos de manera uniforme. Según explica Zulaika, estos dependen en gran medida del tipo de tarea: las más creativas o de roleplay tienden a activar más estereotipos que aquellas más estructuradas. Además, “observamos que predominan los sesgos negativos frente a los positivos y que ciertas dimensiones —como la edad, la apariencia física o la salud— siguen siendo especialmente vulnerables”, añade.
Dado que este tipo de análisis exige revisar en detalle un gran volumen de respuestas generadas por los modelos, la evaluación manual requiere mucho tiempo y dificulta la comparación a gran escala entre distintos LLM. Por ello, la automatización de esta evaluación ha sido otra de las cuestiones abordadas en el trabajo. En este sentido, Orai ha validado un sistema automático en el que un modelo de IA actúa como evaluador. El equipo ha comprobado que sus juicios coinciden en gran medida con los realizados por personas expertas, lo que abre la puerta a evaluaciones a mayor escala.
“Con este estudio aportamos los primeros recursos abiertos para analizar el sesgo generativo en euskera, así como un marco metodológico validado que puede aplicarse a otras lenguas y entornos con pocos recursos. De este modo, contribuimos al desarrollo de sistemas de IA más justos e inclusivos”, afirma la investigadora de Orai.
Este trabajo forma parte de la tesis doctoral de Muitze Zulaika, autora principal del estudio, y ha contado con la participación de los siguientes coautores: Xabier Saralegi, de Orai; Julia Shershneva, Arkaitz Fullaondo y Lia Gonzalez, de la EHU. El estudio se enmarca en el proyecto ESEI, parcialmente financiado por KSIgune dentro de la convocatoria Konexioak_Hazi.