Consiguen acelerar el procesamiento masivo de datos en entornos urbanos y en el ámbito de la telefonía móvil o en la detección de parásitos en colmenas de abejas, entre otros campos
Investigadores del proyecto europeo ASPIDE, coordinado por la Universidad Carlos III de Madrid (UC3M), han creado un pack de herramientas y utilidades destinadas a desarrolladores de software de altas prestaciones para mejorar el rendimiento y flexibilidad en la creación de aplicaciones en el ámbito de la supercomputación. Gracias a ello, han conseguido acelerar el procesamiento masivo de datos en entornos urbanos y en el ámbito de la telefonía móvil o en la detección de parásitos en colmenas de abejas, entre otros campos.
Los resultados de este proyecto de investigación europeo se aplican en el ámbito del “Extreme Data”, es decir, cuando hay una enorme cantidad de datos que deben ser almacenados y analizados casi en tiempo real, lo que requiere una gran cantidad de memoria y sistemas de computación a exaescala (1 exaFLOP, equivale a un quintillón de operaciones de denominados punto flotante, por segundo). Esto es necesario, por ejemplo, si se quiere analizar la gran cantidad de información que se genera cada día en los sistemas de comunicaciones y en las redes sociales. De hecho, cada minuto se suben más de 500 horas de vídeo a YouTube o unas 150.000 imágenes a Facebook.
Los sistemas de almacenamiento tradicionales no pueden manejar hoy en día la escala extrema de estos datos, según los investigadores. “El gran reto de las nuevas infraestructuras de cómputo masivo no es tanto su capacidad de computación, sino más bien el procesamiento y movimiento de datos”, explica el profesor del Dpto. de Informática de la UC3M, Fco. Javier García Blas, coordinador de ASPIDE. Es en este punto donde los resultados obtenidos en el marco de este proyecto europeo de I+D+i pueden resultar especialmente útiles, dado que contribuyen a la definición de un nuevo modelo de programación, de APIs (Application Programming Interfaces), herramientas de ejecución y metodologías para la expresión de tareas intensivas de datos en sistemas a exaescala. “Además - añade - prácticamente la totalidad del software desarrollado es de libre acceso para la comunidad”.
El entorno de trabajo desarrollado en el proyecto ASPIDE, que pueden usar quienes se encargan de diseñar el software utilizado tanto en supercomputación como en áreas relacionadas con el Big Data, tienen dos grandes ventajas. En primer lugar, mejora el rendimiento de las aplicaciones empleando técnicas de planificación, localidad de datos y paralelismo intensivo. En segundo lugar, implementa una infraestructura de procesamiento llamada AIDE que proporciona un mecanismo flexible de programación de aplicaciones.
Los investigadores han aplicado estas ventajas de las utilidades y mecanismos de programación en varios casos de uso empleados en el proyecto, que tienen un alcance y repercusión directa a nivel social. Por un lado, han acelerado el procesamiento masivo de estudios de resonancia magnética, que se emplean para obtener métricas de la microestructura y conectividad del cerebro, para así mejorar el diagnóstico de enfermedades mentales. Además, han aplicado técnicas basadas en Deep Learning al campo de la detección automática de parásitos dentro de las colmenas, con el objetivo de mejorar la calidad de vida de las abejas e impedir el declive de esta especie polinizadora. Por último, la tecnología desarrollada se ha aplicado también al procesamiento masivo de datos en entornos urbanos y en el ámbito de la telefonía móvil.
ASPIDE (ExAscale ProgramIng models for extreme Data procEssing) es un proyecto financiado por el Programa H2020 de la UE (GA 801091) que está coordinado por la UC3M. Este consorcio de I+D+i está conformado tanto por instituciones académicas como empresariales así como instituciones de investigación sanitaria de seis países europeos. Los socios del proyecto son las universidades de Calabria (Italia) y de Klagenfurt (Austria), centros de investigación como el Centro de Supercomputación y Redes de Poznan (Polonia) y el Instituto e-Austria Timisoara, compañías como BULL/ATOS (Francia) e INTEGRIS S.p.A. (Italia) y entidades como el Servicio Madrileño de Salud (SERMAS) en España.
