Diseñan la primera aplicación que traduce en tiempo real la lengua de signos española

Se trata de un avance que contribuye a romper las barreras comunicativas entre sordos y oyentes en situaciones tan cotidianas como ir a una consulta médica o comer en un restaurante. Según la última Encuesta de discapacidad, autonomía personal y situaciones de dependencia del Instituto Nacional de Estadística (INE), en España hay 1,23 millones de personas con una discapacidad auditiva de distinto tipo y grado. De ellas, 27.300 emplean la lengua de signos española para comunicarse.

Gracias al uso de diferentes técnicas de visión por computador y de aprendizaje profundo (deep learning), la doctora en Informática e investigadora de la UA Ester Martínez, junto al estudiante de doctorado Francisco Morillas, ha desarrollado esta herramienta de bajo coste con el fin de ofrecer asistencia a las personas sordas cuando no puedan ir acompañados de un intérprete.

Sign4all, tras capturar la imagen de la persona y extraer el detalle del esqueleto de los brazos y manos, codifica con color azul la parte izquierda del cuerpo y en rojo la parte derecha, manteniendo en todo momento el anonimato del usuario. Después, la aplicación traduce el signo utilizado por la persona sorda en tiempo real y, en sentido opuesto, es capaz de signar mediante un avatar virtual palabras en español tecleadas por la persona oyente.

“La idea es que todo este proceso se pueda hacer descargando una aplicación y utilizando la propia cámara del móvil o de una tablet, para que pueda utilizarse en cualquier lugar”, dice Martínez.

Este proyecto se inició hace dos años, coincidiendo con el trabajo de fin de grado de Francisco Morillas, que ahora está haciendo el doctorado, y surgió después de que en 2018 diseñaran una aplicación para monitorizar y realizar ejercicio físico con gente mayor y una interfaz para que estas personas pudieran interactuar con la misma. Desarrollando esa interfaz, se preguntaron “qué pasa si la persona a la que está intentando monitorizar el robot tiene algún tipo de discapacidad visual o auditiva”, explica la científica.

“Tras muchas pruebas, Sign4all consigue interpretar y reconocer el alfabeto de la lengua de signos española con una precisión del 80%”, ha explicado. “Aunque este resultado se corresponde con el alfabeto datilológico, estamos trabajando en una versión con un vocabulario específico perteneciente al campo de las tareas cotidianas donde interpretar frases completas”, apunta.

El equipo de trabajo de la UA lleva meses entrenando este nuevo sistema e introduciendo cada vez más signos. En este sentido, ha surgido una colaboración con el Grupo de Investigación de Lengua Española y Lenguas Signadas (GRILES) de la Universidad de Vigo, un grupo con amplia experiencia en el estudio de esta lengua y su uso en diferentes territorios.

Ampliación del vocabulario

“Desde la Universidad de Vigo están recabando imágenes con intérpretes, y nosotros estamos procesando todos esos datos. De este modo, podemos ampliar mucho más rápido el vocabulario de nuestro sistema de reconocimiento e interpretación de la lengua de signos y mejorar su funcionamiento”, indica Martínez.

La aplicación que han creado para las personas sordas permite por ahora reconocer el alfabeto de la lengua de signos y signarlo, pero los dos investigadores de la UA disponen ya de un nuevo corpus de datos de vocabulario de alimentación y añadirán, con unas pruebas que están haciendo sus colegas de la Universidad de Vigo, expresiones de interacción social.

“En estos momentos, lo único que está finalizado y completado es lo concerniente al abecedario, aunque estamos intentando ampliarlo para que realmente la aplicación sea útil y llegue a la mayor cantidad de gente posible”, concluye la investigadora.

Referencia:

Martínez, E. ‘Deep Learning Techniques for Spanish Sign Language Interpretation’. Computational Intelligence and Neuroscience (2023).

Fuente: SINC