Mejoran el tratamiento digital de la lengua de signos escrita

El equipo de investigación de las facultades de Informática y Filología de la UCM ha desarrollado una serie de herramientas que convierten los pictogramas de la lengua de signos escrita, conocida como SignoEscritura, en una animación virtual que los representa.

“El objetivo era desarrollar herramientas para mejorar el uso de la SignoEscritura en el contexto digital. La SignoEscritura es una forma de escribir la lengua de signos, pero como usa “dibujos” (logogramas bidimensionales) en vez de letras, no es fácil de utilizar con ratón y teclado”, explica Antonio García Sevilla, investigador de la UCM cuyo desarrollo del proyecto forma parte de su tesis doctoral.

Además de ayudar a las personas con discapacidad auditiva no familiarizadas con la signoescritura o a oyentes sin conocimientos de Lengua de Signos Española (LSE), la herramienta puede enriquecer la información de diccionarios, reconocedores e incluso traductores automáticos de LSE en los que se trabaja actualmente.

El proyecto Visualizando la SignoEscritura fue uno de los tres ganadores en 2019 de la IV Convocatoria de Ayudas a proyectos de investigación en Tecnologías Accesibles, financiada por la compañía tecnológica y consultora Minsait y Fundación Universia.

Resultados del proyecto

Tres años después, el proyecto presenta sus resultados. Por un lado, el corpus VisSE, una colección que recoge casi 1000 ejemplos de SignoEscritura manuscrita, junto con anotaciones computacionales de qué significan los distintos símbolos empleados y, por otro, la herramienta Quevedo, capaz de procesar esa información.

A partir de ella, los investigadores han creado Reconocedor, un sistema que procesa automáticamente la SignoEscritura y lo han incorporado a una aplicación disponible tanto para dispositivos móviles como de escritorio.

“En la aplicación final, además, hemos integrado un módulo que convierte el significado “computacional” de los símbolos en descripciones textuales que pueda entender un humano, y hemos creado un modelo 3D de una mano que es capaz de reproducir las configuraciones de la Lengua de Signos”, añade García Sevilla.

Todo el software está disponible libremente en GitHub, incluyendo la herramienta mencionada anteriormente, pero también el código de la propia aplicación incluyendo instrucciones para su despliegue.