Responsabilidad, integridad y utilidad de los rankings de universidades en tiempos de crisis

Los rankings son útiles y deben jugar un papel importante en estos precisos momentos, pero es necesario más rigurosidad y profesionalidad en su selección y evaluación.

Aunque criticados tanto en el pasado como en la actualidad, varios de dichos rankings han adquirido una cierta aceptación en muchos sectores de la educación superior y ahora son considerados ya herramientas útiles en los procesos no solo de evaluación sino de reordenación de distintos sistemas educativos en todo el mundo. Más aún, algunos son utilizados de forma más o menos indiscriminada como listados de referencia a la hora de homologar titulaciones en distintos países, de forma que la presencia de una universidad en rankings como los de Shanghai, Times Higher Education o QS abre las puertas a sus titulados en países como Colombia o Rusia. Por el contrario, la no presencia conlleva dificultades extremas o incluso situaciones tragicómicas como la reciente no aceptación como mérito en una importante universidad española de un contrato postdoctoral en el CSIC, simple y llanamente porque la citada institución (el CSIC) no aparece en el ranking de universidades de Shanghai.

En los últimos años el interés de las propias universidades en los rankings, sus metodologías y resultados se ha incrementado sustancialmente, dando lugar a la organización de numerosos seminarios y conferencias y a la publicación de muchas notas de prensa, participaciones en foros, entradas de blogs y algunos artículos científicos. En la mayoría de los eventos se ha dado cabida a presentaciones exclusivamente comerciales, a conferencias poco críticas o interesadas e incluso a supuestos expertos con escasa experiencia o conocimiento del tema. Ante la presencia de los editores de rankings algunas autoridades académicas se muestran solícitas y obvian cualquier atisbo de crítica o debate de profundidad. En el caso de las publicaciones lo habitual es que se ofrezca una mera enumeración de la oferta disponible, copiando y pegando (cut & paste) las secciones de metodología de cada uno de los rankings y acompañando la descripción de adjetivos como “prestigioso o “popular”, amén de alguna expresión de gusto personal basada en la posición relativa de la “alma mater” del autor en cuestión.

Estas situaciones no sólo se dan en España, puesto que también en Latinoamérica se ha incrementado el interés en estos temas, aunque sin mejorar la aproximación crítica a alguno de los editores de estos rankings y los resultados que proponen.

Porque efectivamente, en la determinación de la idoneidad y pertinencia de los rankings, es muy importante determinar quienes son sus autores, cuales sus motivaciones, y en fin la profundidad de su curriculum tanto individual como institucional.

Así señalaremos que varios de los rankings están realizados por empresas comerciales, cuyo negocio principal es la realización de consultoría y eventos relacionados con la educación superior, con una llamativa correlación entre la contratación de servicios, la participación en ferias o la publicidad pagada en sedes web y ciertos resultados de sus rankings. Hemos de indicar que no sólo los editores pueden ser acusados de prácticas poco éticas, sino que a menudo las citadas relaciones contractuales favorecen las presiones por parte de las universidades para sesgar en su favor métodos y resultados (incluso como política nacional, con la intervención de los ministros del ramo). En todo caso resulta llamativa la falta de experiencia y/o autoridad de los equipos encargados de las citadas y caras labores de consultoría y/o elaboración de estudios especializados.

El peso de la evaluación de la investigación es muy importante en la mayoría de los rankings, ya que se acepta que una universidad no puede ejercer un claro liderazgo sin una contribución científica relevante. Por razones prácticas, dicha contribución se suele reflejar de forma cuantitativa utilizando las llamadas técnicas bibliométricas. Es sorprendente que en muchos de los rankings que utilizan indicadores bibliométricos no encontremos ningún experto en dicha disciplina, que sus autores sean desconocidos en la comunidad bibliométrica o que nunca hayan publicado nada en las revistas del sector. Así de repente nos encontramos con modelos de combinación de variables erróneas o injustificadas, cuando no absurdas, lo que en algún caso paradigmático ha determinado colocar a la Universidad de Alejandría (Egipto) al mismo nivel de Harvard en lo que a excelencia investigadora se refiere.

Hay ciertamente científicos de gran prestigio y reconocida autoridad en estos temas que se han decido a publicar rankings, aunque en estos casos no ofreciendo un listado único recomendado, sino una serie de ellos que se pueden personalizar según el criterio del usuario final. Dado que un elevado número de los usuarios de estos productos son estudiantes y sus familiares buscando información sobre universidades candidatas para iniciar o continuar sus estudios superiores, resulta poco justificado dejar en manos de jóvenes sin experiencia la selección de variables y sus pesos relativos. Incluso para los gestores universitarios esta opción abierta les puede llevar inconscientemente o no a la elección de la alternativa más favorable, independientemente de la idoneidad de los indicadores seleccionados.

Citemos como ejemplo extremo el proyecto de multi-ranking financiado con varios millones de euros por la Comisión Europea y presentado como la alternativa europea al ranking de Shanghai y que básicamente es un no-ranking de emoticones de colores que evalúan unas pocas docenas de universidades europeas. Resulta descorazonador indicar a los ciudadanos de por ejemplo, Portugal, que gracias a sus impuestos es muy probable que en 2015 todavía no sepamos cual es la mejor universidad de su país.

Las críticas más habituales se refieren a la estimación de las variables intangibles de la actividad universitaria, tales como la calidad de la docencia, el prestigio de la institución o la llamada tercera misión (compromiso comunitario, trasferencia de conocimiento y tecnología, internacionalización). Varios de los rankings más populares resuelven este problema recurriendo a encuestas de opinión, más o menos amplias. Independientemente de los muchos sesgos geográficos, idiomáticos y disciplinares de las citadas encuestas y de la significación real del tamaño de la muestra, resulta ingenuo pensar que exista en el mundo siquiera un sola persona con la (amplísima) experiencia universitaria necesaria para responder a un ejercicio de benchmarking como el planteado a nivel global o incluso nacional.

Otro aspecto crucial que debe ser tenido en cuenta son los criterios de inclusión o exclusión, a menudo opacos y en general poco justificados o justificables. Algunos editores excluyen universidades muy importantes por razones puramente técnicas: Este es el caso de las dos universidades berlinesas, que no aparecen el ranking de Shanghai puesto que es difícil asignarles respectivamente los premios Nobel que la Universidad de Berlín obtuvo antes de escindirse en dos tras las Segunda Guerra Mundial. Algo similar ocurre con el ranking de QS que debido a utilizar tasas en sus variables, excluye las universidades muy especializadas de su ranking general, tal como California San Francisco o Rockefeller (que sólo dan posgrado) o la Karolinska (¡responsable del comité que otorga el premio Nobel de medicina!) y otras similares que solo imparten una única disciplina. La primera edición del ranking THE no incluyó aquellas universidades que no habían contestado a sus peticiones de información, lo que se tradujo en la ausencia de universidades tejanas, israelíes, italianas o noruegas de primer orden sin explicación pública alguna dando lugar a peligrosas, y erróneas, interpretaciones. Al parecer el ranking de QS evalúa universidades bajo petición, suponemos que previo pago de dicho servicio, e incorpora los resultados a sus listas principales directamente. Puesto que su ranking cubre de 400 a 500 instituciones, eso significa que instituciones con desempeños mediocres pueden así aparecer entre las 600 o 700 primeras, algo de lo que varias de ellas se ufanan ante sus ciudadanos y gobiernos.

Finalizaremos con un breve repaso a los principales rankings señalando lo que, a nuestro juicio, son sus principales debilidades y algunas características que deben ser tenidas muy en cuenta a la hora de utilizarlos indiscriminadamente.

Ranking de Shanghai (ARWU). El primero y seguramente el más popular, no ha cambiado sus métodos y datos en los 9 años que lleva publicándose a pesar de los numerosos errores, sesgos y problemas detectados, muchos de ellos de fácil solución. Destacaremos el uso de los premios Nobel como criterio de calidad de la docencia que hace que, por ejemplo, la Universidad Complutense gane unas 80 posiciones por sus estudiantes que han recibido el Nobel de Literatura, además de que pasaran pos sus aulas los insignes Severo Ochoa (hace 80 años) y Ramón y Cajal (hace más de un siglo). La calidad de su sesgado análisis bibliométrico (que excluye las ciencias sociales y humanidades, las tecnologías y otras disciplinas científicas en favor de la biomedicina) se muestra, por ejemplo, en la sobre-presentación de la Universidad de Barcelona (posiblemente incluye producción de la UAB, la UPF o el Hospital Clinic), la Complutense de Madrid (por razones similares) o la Autónoma de Madrid, beneficiada de los centros mixtos con el CSIC.

Ranking QS. Producido por la consultora británica de su mismo nombre, es el único de todos que encabeza la clasificación con una universidad del Reino Unido (Cambridge) y el único también con 4 universidades inglesas entre las 10 primeras. Estos sesgos se evidencian aún más, cuando comparando con otros rankings, QS presenta en puestos destacados más universidades de Hong Kong, Singapur, Irlanda, India o Australia (países de la Commonwealth) que sus competidores. La calidad de algunos datos se puede cuestionar al revisar algunos de sus rankings especializados, donde el MIT (que no tiene Facultad de Medicina) aparece entre las universidades excelentes en Medicina y, en un caso sonrojante, los nombres de universidades chinas y japonesas abundan entre las cincuenta primeras clasificadas en lengua y literatura inglesa.

Ranking THE. Produce dos rankings, uno corto de 100 universidades fruto de una encuesta donde se pregunta sobre el prestigio (“reputation”) y un segundo con 400 universidades que se construye a partir de un complejo indicador compuesto de nada menos que 13 variables con pesos totalmente arbitrarios. La empresa Thomson, editora de bases de datos bibliométricas, colabora en la recolección de datos, pero un análisis de la primera edición muestra posiciones disparatadas como la ya citada de la Universidad de Alejandría.

Rankings bibliométricos. Hay cuatro rankings que sólo miden la misión investigadora utilizando exclusivamente datos bibliométricos. Dos de ellos, el HEEACT de Taiwán y el URAP de Turquía se basan en modelos no justificados, que mezclan variables altamente correlacionadas entre sí y cuyos promotores son desconocidos entre la comunidad cienciométrica y no parecen ser autores de ningún artículo relevante sobre el tema en las revistas científicas especializadas. Por el contrario, los autores de los otros dos, el ranking de Leiden (realizado por el CWTS holandés) y el ranking del grupo Scimago en España, son expertos bien conocidos en la disciplina. Sin embargo ninguno de los dos recomienda una ordenación única y sus clasificaciones priman fundamentalmente la excelencia investigadora, lo que limita su uso entre las universidades con menor actividad en dichas áreas. Además ambos utilizan fuentes con importantes sesgos tanto disciplinares (biomedicina) como geográfico-lingüísticos (publicaciones en inglés).

Ranking Web. También llamado Webometrics, es producido en España y utiliza la presencia en la web como indicador indirecto de las misiones universitarias. Es muy susceptible a malas prácticas como los cambios de dominio web, pero también a estrategias poco éticas como la compra de enlaces o la multiplicación de contenidos. Su mayor ventaja es que es el único que clasifica más allá de la posición 500 pues ofrece información sobre más de 20.000 universidades.

En resumen, los rankings pueden ayudar a diseñar estrategias de mejora en la educación superior, pero se debe ser cuidadoso en la selección de cuales son más adecuados y libres de sesgos y por supuesto también en su aplicación indiscriminada o acrítica. Una lectura apresurada podría llevar a los expertos a sugerir la fusión indiscriminada de instituciones para obtener masa crítica, a potenciar unas pocas universidades de élite que recibirán financiación adicional en detrimento de las demás, a limitar los esfuerzos en áreas poco productivas o de escasa rentabilidad como las ciencias sociales y las humanidades o finalmente a diluir la misión docente a favor de un mayor esfuerzo de investigación, preferiblemente de la llamada aplicada.