Baliabideak

Atal honetan eskuragarri ditugun dataset eta baliabideak aurkituko dituzu eskuragarri. Eduki hauez gain, Orai NLP Teknologiak sortutako softwarea, eredu neuronalak eta horiek ebaluatzeko datuak hemen aurki ditzakezu:

Kodeak eta biltegiak

Hizkuntza-eredu neuronalak eta dataset-ak

Iritzi-erauzketa - Sentimenduen Analisia

ElhPolar_es

Gaztelaniazko polaritate lexikoa.

ElhPolar_eu

Euskarazko polaritate lexikoa.

Basque Opinon Dataset

Polaritatea markatuta duten euskarazko esaldiak.

BEC2016 opinion dataset

EAEko 2016ko hauteskundeen inguruko iritzien bilduma. 25.000 Txio entitate mailako polaritate anotazioekin (pos|neg).

Behagunea Iritzien bilduma

DSS2016 Kultur hiriburutzaren inguruko txio bilduma. Euskaraz (3000) eta Gaztelaniaz (4754) idatzitako txioak, mezu mailako polaritate anotazioekin (pos|neg|neu).

EliXa polaritea sailkatzeko ereduak (EliXa 1.0.x)

Polaritatea sailkatzeko ereduak, kultura arloko (Behagunea) txioen gainean entrenatuak. Aurreko bertsioak: v 0.9.x

EliXa baliabideak (EliXa 1.0.x <=)

Hizkuntzarekiko dependente diren baliabideak: polaritate lexikoak eta testuen normalizaziorako baliabideak. 4 hizkuntzatarako baliabideak ditu paketeak: Euskara (eu), Gaztelania (es), Ingelesa (en) eta Frantzesa (fr). Ixa-pipes-pos etiketatzeko linguistikoa egiteko beharrezko baliabideak ere barneratuta ditu. Aurreko bertsioak: v 0.9.x (Ixa-pipe pos ereduak ez daude barne)

Ixa-Pipes models for EliXa 0.9.x

Ixa-Pipes models used for lemmatization and POS tagging (1.5.0) by EliXa 0.9.x as default models.

Corpusak

Euskara-Ingelesa corpus paraleloa

Euskara-Ingelesa corpus paraleloa, automatikoki bildua PaCo2 tresnarekin

Euskara-Gaztelania corpus paraleloa

Euskara-Ingelesa corpus paraleloa, automatikoki bildua PaCo2 tresnarekin. 640K segmentu ditu.

Elhuyar web-corpusa

186 Milioi tokeneko euskarazko corpusa, webetik automatikoki bildutako eta garbitutako testuez osatua da.

ZelaiHandi

521,5 milioi hitz ditu, eta hautatutako webguneen bilduma batetik bildu dira testuak, kalitatezkoak eta askotarikoak direla ziurtatzeko.

Elkarrizketa-laguntzaileak

FMTODelh dataset

Facebook Multilingual Task Oriented Dataset delakoaren euskarazko bertsioa (López de Lacalle et al., 2020). Train eta Dev atalak NMT bidez itzuliak izan dira, Test berriz eskuz itzulia da.

SNIPSeu dataset

Snips datasetaren (Coucke A. et al., 2018) euskarazko bertsioa (López de Lacalle et al., 2021). Test zatia banatzen da hemen, eskuz itzulia

Dokumentuen Sailkapena

BHTC dataset

Basque Headlines Document Classification (BHTC) dataseta. Euskarazko 12,403lerroburuko bilduma, Argia astekaritik erauzia, gaiaren araberako sailkapena dutelarik. Dokumentuen sailkapen atazan erabilia (Agerri et al., 2020).

Akats Gramatikalen Zuzenketa

GEC-elh-eu dataset-a

Euskarazko akats gramatikalen zuzenketarako dataset-a. 9 miloi esaldi bikote (akatsduna - zuzena) "train" atalean sintetikoki sortuak. Ebaluaziorako adibide sintetikoak (6.000) eta eskuz zuzendutakoak eskaintzen dira (672). Erabiliz gero aipatu (Beloki et al., 2020) artikulua.