Hizkuntzetarako neurona espezifikoak LLM-etan?

Ixak Sarasua Oraiko ikertzaile gazteak bere lanaren berri eman du IkerGazte 2025 biltzarrean

Ixak Sarasuak aurkeztutako ikerketan, LLMek (adimen artifiziala irauli duten milaka milioi parametroko sare neuronalek) hizkuntza jakinetarako dituzten neurona espezifikoak aztertzen ari dira, euskaran fokua jarriz. Hizkuntza Aktibaziorako Probabilitate Entropiaren (LAPE) metrika erabiliz, euskaran, frantsesean, gaztelanian eta ingelesean espezializatutako neuronak identifikatzen dituzte Llama-3.1-8B ereduan eta euskarara egokitutako aldaeran (Llama-eus-8B). Esperimentuetan ikusten da neurona espezifikoak ereduaren kanpoaldeko geruzetan pilatzen direla gehienbat, eta euskarak dituela neurona espezifiko gehien. Perplexity-a erabiliz egindako analisiak erakusten du neurona horiek desaktibatzeak eragin berezia duela helburuko hizkuntzan ereduko hizkuntza nagusia ez den kasuetan, eta horrek neuronen espezifikotasuna baieztatzen du. Aurkikuntza horiek erakusten dute horrelako ereduak beste hizkuntzetara egokitzearen eta neurona espezializatuen arteko erlazioa badagoela, eta LLMak baliabide urriko hizkuntzetara era optimoan egokitzeko bideei buruzko informazioa ematen dute.

UEUk bi urterik behin antolatzen duen diziplinarteko kongresua da IkerGazte. Euskal ikertzaile gazteak elkar ezagutzea, goi-mailako ikerketa euskaraz egiten dela erakustea eta ikerketa horien emaitzak zabaltzea ditu helburu.