Objetivo: minimizar el impacto de los sesgos sociales en los contenidos generados por las inteligencias artificiales creativas en euskera

A través del proyecto ESEI, hemos desarrollado una metodología para analizar los estereotipos de las inteligencias artificiales (IA) generativas a gran escala y desde la perspectiva de la sociedad vasca. Presentamos los resultados en la jornada «Inteligencia Artificial: sesgos y retos sociales en la sociedad vasca», organizada el 19 de octubre. Hemos llevado a cabo el proyecto en colaboración con la Cátedra Ikuspegi de Migraciones y Convivencia de la EHU, con el impulso de KSIgune.

Mediante una metodología innovadora de evaluación automatizada y a gran escala, adaptada al contexto sociocultural vasco, hemos analizado el riesgo de que las IA generativas reproduzcan estereotipos sociales. Según explica Muitze Zulaika, investigadora de Orai y una de las principales autoras de la investigación, “el sesgo de la inteligencia artificial no es una fotografía fija, sino una sombra que varía en función de la luz“. El sesgo puede ser mayor o menor dependiendo de la tarea que se le pida realizar a la IA.

En el proyecto ESEI, hemos desarrollado una evaluación automatizada basada en la metodología AI-as-a-judge; es decir, hemos utilizado la IA para analizar las respuestas de otras IA generativas e identificar automáticamente los estereotipos.  Esta metodología ha permitido realizar análisis a gran escala y medir los sesgos sociales de manera reproducible y fiable. Se han creado tareas de evaluación y conjuntos de datos específicos adaptados al contexto sociolingüístico vasco, que nos han permitido analizar el comportamiento social de las IA generativas actuales (GPT, llama-eus, Latxa...).

El objetivo ha sido evaluar de forma sistemática y comparable el comportamiento de estas IA generativas ante distintos tipos de sesgos sociales, así como realizar una interpretación crítica de los estereotipos que generan. De este modo, los resultados permitirán impulsar un desarrollo más responsable y ético de los grandes modelos de lenguaje (LLM), identificar de forma proactiva los estereotipos sociales y sentar las bases para reducirlos. ESEI, por tanto, ha contribuido decisivamente al desarrollo de una inteligencia artificial más justa y ética y, al mismo tiempo, contribuirá a reforzar la visibilidad del euskera y de las lenguas minorizadas en el ámbito de las tecnologías avanzadas.

Muitze Zulaika, investigadora de Orai, presentó el trabajo de investigación realizado en el marco de esta colaboración en el congreso LREC 2026.

El diario GARA-NAIZ publica una crónica muy ilustrativa sobre el trabajo realizado en este proyecto.