Casos de éxito
TTS en euskera para TOKIMEDIA:
Hemos desarrollado un nuevo sistema de síntesis de habla (TTS) en euskera para la red digital TOKIMEDIA, con el fin de convertir cualquier texto digital en formato pódcast, acercándolo a la calidad de lectura de un periodista y permitiendo así que los usuarios puedan escuchar los textos. El proyecto ha aportado dos innovaciones principales: la capacidad de crear voces personalizadas (con pocas grabaciones) y una mayor expresividad para la lectura de textos periodísticos, mediante la combinación de modelos lingüísticos (BERT, etiquetas POS) con el modelo TTS.
TTS en euskera para TOKIMEDIA:
Descripción general
Hemos desarrollado un nuevo sistema de síntesis de habla (TTS) en euskera para la red digital TOKIMEDIA, con el fin de convertir cualquier texto digital en formato pódcast, acercándolo a la calidad de lectura de un periodista y permitiendo así que los usuarios puedan escuchar los textos. El proyecto ha aportado dos innovaciones principales: la capacidad de crear voces personalizadas (con pocas grabaciones) y una mayor expresividad para la lectura de textos periodísticos, mediante la combinación de modelos lingüísticos (BERT, etiquetas POS) con el modelo TTS.
Reto
El principal reto ha consistido en lograr una red neuronal capaz de leer cualquier texto con la prosodia adecuada, entrenada con unas pocas frases. Además, tiene en cuenta las dificultades propias de los textos periodísticos (frases largas, entidades numerosas), al mismo tiempo que permite seleccionar voces específicas para cada entidad.
Cooperación
Se ha desarrollado en colaboración con el grupo de comunicación Tokikom (red TOKIMEDIA).
Resultado
Se han recopilado grabaciones de 150 frases por hablante y se ha entrenado un sistema multihablante FastPitch + HiFi-GAN. Para mejorar la expresividad, también se han entrenado y evaluado versiones que incorporan etiquetas POS y vectores BERT, aunque ha sido el modelo FastPitch original el que ha obtenido los mejores resultados, por lo que es el que se ha puesto en producción. En la actualidad, está operativo en los servidores de Orai, y TOKIKOM lo utiliza como servicio a través de una API.
