Los resultados de un estudio, realizado por el grupo de innovación docente DSLAB-TI de la Universidad Rey Juan Carlos (URJC), revelan que esta herramienta de inteligencia artificial obtiene mejores resultados en áreas como probabilidad y estadística
El grupo de innovación docente DSLAB-TI ha realizado un estudio para investigar el rendimiento de ChatGPT en los exámenes EvAU, denominados ahora PAU (Prueba de Acceso a la Universidad), que dan acceso a la universidad en todo el territorio español. El estudio se ha centrado en las pruebas de la asignatura Matemáticas Aplicadas a las Ciencias Sociales en la Comunidad de Madrid.
El objetivo principal de esta investigación ha sido comparar el desempeño de ChatGPT frente a los estudiantes en áreas clave de las matemáticas que se abordan en la prueba: álgebra, análisis matemático, probabilidad y estadística.
Los resultados obtenidos, publicados recientemente en la revista científica International Electronic Journal of Mathematics Education, muestran que ChatGPT supera a los estudiantes en áreas como probabilidad y estadística. “El trabajo apoya la ya existente tendencia a usar inteligencias artificiales como herramientas de apoyo en el aula. No obstante, tal y como se deriva del estudio realizado, deben usarse con precaución y bajo supervisión del profesorado pues la inteligencia artificial tiene limitaciones a la hora de resolver cierto tipo de problemas”, señala Antonio Alonso, miembro del grupo DSLAB-TI y coautor del estudio.
Evaluación de exámenes y mejoras de la IA
Para llevar a cabo la investigación se utilizaron exámenes de la EvAU realizados entre 2009 y 2012 en la Comunidad de Madrid. Las respuestas proporcionadas por ChatGPT a estos exámenes fueron evaluadas por el profesorado del grupo de innovación docente DSLAB-TI. Finalmente, se compararon estas evaluaciones con las calificaciones reales de los estudiantes mediante técnicas estadísticas y se observó que la inteligencia artificial (IA) obtuvo un rendimiento menor en las pruebas de álgebra y cálculos. “Esto es importante porque nos permite entender mejor las fortalezas y limitaciones de la inteligencia artificial en la resolución de problemas matemáticos y usar estas herramientas con ello en mente”, concluye Antonio Alonso.
Este estudio forma parte del trabajo continuado del grupo de innovación docente DSLAB-TI de la Universidad Rey Juan Carlos que persigue aplicar herramientas de Ciencia de Datos para mejorar la docencia.
Referencia bibliográfica: Udias, A., Alonso-Ayuso, A., Alfaro, C., Algar, M. J., Cuesta, M., Fernández Isabel, A., Gómez, J., Lancho, C., Cano, E. L., Martín de Diego, I., & Ortega, F. (2024). ChatGPT’s performance in university admissions tests in mathematics. International Electronic Journal of Mathematics Education, 19(1), em0795 https://doi.org/10.29333/iejme/15517
