El objetivo final es que el sistema pueda descifrar idiomas perdidos que han eludido a los lingüistas durante décadas, utilizando solo unos pocos miles de palabras
Un nuevo algoritmo ha demostrado ser capaz de descifrar automáticamente una lengua perdida, sin necesidad de conocimientos avanzados de su relación con otras lenguas.
El objetivo final del equipo de investigadores del Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT (CSAIL) es que el sistema pueda descifrar idiomas perdidos que han eludido a los lingüistas durante décadas, utilizando solo unos pocos miles de palabras.
Encabezado por la profesora Regina Barzilay del MIT, el sistema se basa en varios principios basados en conocimientos de la lingüística histórica, como el hecho de que los idiomas generalmente solo evolucionan de ciertas formas predecibles. Por ejemplo, si bien un idioma determinado rara vez agrega o elimina un sonido completo, es probable que se produzcan ciertas sustituciones de sonido. Una palabra con una "p" en el idioma principal puede cambiar a una "b" en el idioma descendiente, pero el cambio a una "k" es menos probable debido a la brecha significativa de pronunciación.
Al incorporar estas y otras limitaciones lingüísticas, Barzilay y el estudiante de doctorado del MIT Jiaming Luo desarrollaron un algoritmo de descifrado que puede manejar el vasto espacio de posibles transformaciones y la escasez de una señal de guía en la entrada.
El algoritmo aprende a incrustar los sonidos del lenguaje en un espacio multidimensional donde las diferencias en la pronunciación se reflejan en la distancia entre los vectores correspondientes. Este diseño les permite capturar patrones pertinentes de cambio de lenguaje y expresarlos como restricciones computacionales. El modelo resultante puede segmentar palabras en un idioma antiguo y asignarlas a sus contrapartes en un idioma relacionado.
El proyecto se basa en un documento que Barzilay y Luo escribieron el año pasado que descifró las lenguas muertas ugarítico (una lengua semítica) y lineal B (sistema de escritura usado para escribir el griego micénico) la último de las cuales ha tardado décadas en ser decodificada. Sin embargo, una diferencia clave con ese proyecto fue que el equipo sabía que estos idiomas estaban relacionados con las primeras formas del hebreo y el griego, respectivamente.
El caso de la lengua vasca
Con el nuevo sistema, el algoritmo infiere la relación entre los idiomas. Esta pregunta es uno de los mayores desafíos del desciframiento. En el caso de Lineal B, se necesitaron varias décadas para descubrir el descendiente conocido correcto. Para el íbero, los estudiosos aún no pueden ponerse de acuerdo sobre el idioma relacionado: algunos defienden el euskera, mientras que otros refutan esta hipótesis y afirman que el íbero no se relaciona con ningún idioma conocido.
El algoritmo propuesto puede evaluar la proximidad entre dos idiomas; de hecho, cuando se prueba en idiomas conocidos, incluso puede identificar con precisión familias de idiomas. El equipo aplicó su algoritmo al íbero considerando al vasco, así como a los candidatos menos probables de las familias romance, germánica, turca y urálica. Si bien el vasco y el latín estaban más cerca del íbero que otros idiomas, todavía eran demasiado diferentes para considerarlos relacionados.
Identificación del significado semántico
En el trabajo futuro, el equipo espera expandir su trabajo más allá del acto de conectar textos con palabras relacionadas en un idioma conocido, un enfoque conocido como "desciframiento basado en afines". Este paradigma asume que existe una lengua tan conocida, pero el ejemplo del ibérico muestra que no siempre es así. El nuevo enfoque del equipo implicaría identificar el significado semántico de las palabras, incluso si no saben cómo leerlas.
"Por ejemplo, podemos identificar todas las referencias a personas o lugares en el documento que luego pueden investigarse más a la luz de la evidencia histórica conocida", dice Barzilay en un comunicado. "Estos métodos de 'reconocimiento de entidades' se utilizan comúnmente en varias aplicaciones de procesamiento de texto en la actualidad y son muy precisos, pero la pregunta clave de la investigación es si la tarea es factible sin datos de entrenamiento en el idioma antiguo".
