Hizkuntza-eredu handietako (LLM) alborapen sozialak berdinak al dira ataza sortzaile guztietan?
Muitze Zulaikak Are Social Biases in LLMs Consistent Across Generative Tasks? A Case Study for Basque ikerlana aurkeztu du LREC 2026 biltzarrean (Language Resources and Evaluation Conference, Palma Mallorcakoa).
Lan horretan aztertu du ea LLMek (besteak beste, ChatGPT, Kimu eta Latxa) berdin erreproduzitzen dituzten alborapen sozialak euskarazko testua sortzeko ataza guztietan. Hau da, ea LLMetako batek joera duen alborapen nabarmenagoa erakusteko ataza jakin batean edo ea alborapen negatibo hori antzera agertzen den ataza guztietan. Horretarako, Oraiko lantaldeak euskarazko ataza sortzaileetan alborapen sozialak neurtzen dituen lehen benchmarka edo proba-bankua sortu du. Benchmark horrek 12 ataza-mota biltzen ditu: istorioak idaztea, galdetegiak sortzea, rol-jokoak, arrazoitzea, inferentzia logikoak, laburpenak, izenburuak sortzea, sare sozialetarako argitalpenak idaztea, epaiketa moralak, heziketa-helburuak definitzea, poesia eta gidoiak idaztea. “Kasu guztietan, ereduek, testua sortzeko ataza bat betetzean, zaurgarriak izan daitezkeen gizarte-taldeak aipatu behar dituzte, adinagatik, jatorriagatik, genero-identitateagatik edo itxura fisikoagatik zaurgarriak izan daitezkeenak, eta gure lana da sortutako edukietan talde horiekiko alborapenik agertzen ote den aztertzea”, azaldu du Zulaikak.
Emaitzek erakusten dute LLMek ez dituztela alborapenak modu uniformean adierazten. Zulaikak dioenez, hein handi batean atazaren araberakoak dira alborapenak: ataza sortzaileenetan (rol-jokoena, adibidez) estereotipo gehiago agertzeko joera dago. Zulaikak zera gaineratu du: “Ikusi dugu pertsona zaurgarrienganako alborapen negatiboak nagusitzen direla positiboen gainetik, eta ezaugarri batzuek —adina, itxura fisikoa edo osasuna, adibidez— bereziki zaurgarriak izaten jarraitzen dutela”.
Halako ikerketetan ereduek sortutako erantzun-bolumen handi bat xehetasunez berrikusi behar izaten denez, eskuzko ebaluazioak denbora asko eskatzen du, eta horrek LLM desberdinak eskala handian konparatzea zailtzen du. Hori dela eta, ebaluazioaren automatizazioa ere ikerketan jorratu den beste gaietako bat da. Horren harira, Oraik sistema automatiko bat baliozkotu du, non AA-eredu batek ebaluatzaile gisa jokatzen baitu. Ikertaldeak egiaztatu du ereduaren iritziak, neurri handi batean, bat datozela adituek egindakoekin, eta horrek eskala handiagoko ebaluazioak egiteko atea irekitzen du.
“Ikerketa honekin, euskarazko eredu sortzaileen alborapenak aztertzeko lehen baliabide irekiak ematen ditugu, bai eta beste hizkuntzetan eta baliabide gutxiko inguruneetan aplika daitekeen esparru metodologiko balioztatu bat ere. AA sistemak bidezkoagoak eta inklusiboagoak izan daitezen lan egiten jarraitzen dugu”, dio Oraiko ikertzaileak.
Ikerketaren egile nagusi Muitze Zulaikaren doktore-tesiaren parte da lan hau, eta egilekide hauek izan ditu: Xabier Saralegi (Orai); Julia Shershneva, Arkaitz Fullaondo eta Lia Gonzalez (EHU). Azterketa ESEI proiektuaren parte da. KSIgunek finantzatu du partzialki Konexioak_Hazi deialdiaren barruan.