Utilidad del índice h de Hirsch para evaluar la investigación

El establecimiento de un parámetro sencillo para evaluar la calidad de la investigación ha sido un ideal perseguido por todos los órganos de investigación en España y en muchos otros países (Seglen, 1997; y citas en este trabajo). El dogma central de la evaluación es que nada puede igualar a la evaluación por pares, si se hace bien, pero que hacerlo bien es difícil (Mulligan, 2004). El Reino Unido es un ejemplo a seguir, pero España está aún lejos de poder seguir ese camino: por la escasa financiación del sistema de I+D y por el escaso tamaño de la población científica.

En estas circunstancias, muchas instituciones de evaluación en España han elegido el uso de los factores de impacto de las revistas en los que los investigadores publican para evaluar la calidad del trabajo: bien directamente o por la posición de la revista en los listados del Journal of Citation Reports (Thomson Scientific), aunque la inapropiado de esta práctica está demostrada por un buen número de publicaciones científicas (Seglen, 1997; Hecht y otros, 1998; Amin & Mabe, 2000). La observación crucial a este respecto es que, dentro de un rango de variación bastante grande del factor de impacto de las revistas de una especialidad, no existe correlación entre el valor de este factor y el número de citas recibidas por cada uno de los artículos publicados por ella.

La Comisión Nacional Evaluadora de Actividad Investigadora (CNEAI) fue probablemente la primera institución española en establecer de forma generalizada una evaluación formal, sin utilizar pares. El éxito de la CNEAI (Jiménez-Contreras y otros, 2003) promovió la extensión de la evaluación formal por comisiones a evaluaciones para otros fines, en los que no es aplicable. Dos aspectos son cruciales en las evaluaciones de la CNEAI: que los evaluados no compiten entre ellos y que el procedimiento se ideó con el único fin de distinguir entre dos poblaciones bastante diferentes, una integrada por los investigadores competitivos y otra ajena o casi ajena a una actividad investigadora productiva. Formalmente, las dos poblaciones se distinguen porque la distribución de la frecuencia de las citas recibidas en cada una de ellas son completamente diferentes, una distribución de Poisson para la primera y una distribución normal para la segunda (Rodríguez-Navarro, 1994). Los métodos formales de la CNEAI sirven para distinguir estas dos poblaciones y para los fines de la CNEAI, pero no para otros fines, y su uso en otras instituciones ha creado numerosos problemas e injusticias.

Muy recientemente, la sección News de la revista Nature incluía un extenso comentario sobre un trabajo de Jorge Hirsch, un físico de la Universidad de California en San Diego, en el que se propone un ingenioso método para evaluar la investigación (Ball, 2005). El trabajo completo ha sido publicado aún más recientemente en la revista Proceedings of the National Academy of Sciences USA (Hirsch, 2005). El método define el índice h como el número aplicado a un investigador que tiene h trabajos que han sido citados al menos h veces. Por ejemplo, h = 10 significa que hay diez artículos que tienen 10 o más citas, pero no hay 11 que tengan 11 o más citas. La reciente introducción de los nuevos métodos de análisis del Thomson ISI Web of Knowledge permite que el cálculo del número h sea casi inmediato, lo que contribuye a que su uso sea enormemente atractivo. Además, como discute Hirsch, el índice h es un indicador de mejor calidad que los que se tabulan tradicionalmente: (i) número de trabajos, (ii) número total de citas, (iii) número de citas medias por trabajo, (iv) número de trabajos "significativos" o (v) número de citas de los trabajos más citados. Por estas razones, la propuesta del índice h ha llamado la atención de muchos y hay numerosos comentarios sobre su uso, que pueden encontrarse con cualquier buscador de Internet.

El trabajo de Hirsch, que es formalmente intachable, establece incluso criterios de progreso en la carrera científica basados en el índice h, y demuestra que h puede "rescatar" a algunos científicos poco reconocidos en los medios pero que han tenido un papel relevante en el desarrollo científico. No obstante, la aplicación general del índice h tiene dos problemas que Hirsch discute, pero no resuelve: el peso del tamaño del grupo investigador (número de autores por trabajo) y su aplicación a áreas o subáreas científicas con poblaciones de diferentes tamaños (lo que repercute en el número de citas). En lo que sigue, tratamos estos dos problemas.

El trabajo de Hirsch pone de manifiesto que los índices h son diferentes en áreas científicas diferentes. En general, los trabajos aplicados reciben menos citas que los básicos en las disciplinas más dinámicas y, en consecuencia, los científicos que trabajan en disciplinas aplicadas tienen índices h mucho más bajos. Las diferencias están causadas por la dependencia de h del tamaño de la población que potencialmente puede citar el trabajo: si son muchos los investigadores trabajando en una materia, las citas pueden ser mayores que en una comunidad científica pequeña. Para investigadores poco activos con un h pequeño, las diferencias entre áreas prácticamente no existen, pero cuando h crece, el valor máximo queda limitado por el tamaño de la población de investigadores que trabajan en el campo. El trabajo de Hirsch lo pone de manifiesto al comparar la Física con la Biología.

Se hace, pues, necesario profundizar, y más por sus singularidades en el caso español, en hallar los valores h de referencia o h_R correspondientes a los mejores investigadores en cada campo ó área. De esta forma, el h de cada investigador habría que compararlo con el h_R correspondiente, si bien, hay que recalcar, que el cociente h/h_R no es un parámetro que determine de forma universal la posición de un científico en cualquier campo. En términos muy simples, se puede decir que en los campos con una hR baja es algo más fácil llegar a una h/h_R de 0,5, por ejemplo, que en los campos con una h_R muy alta.

Además, para el sistema español, habría que tener en cuenta que se caracteriza por publicar muchos datos y poca ciencia, y sería un error determinar un coeficiente corrector bajo, sólo porque el investigador no aborda temas importantes y siempre utiliza revistas poco relevantes. El caso contrario sería caracterizar el campo con revistas de carácter general en los que los investigadores de un campo aplicado pueden publicar sólo como un hecho excepcional. Todos los físicos pueden publicar en Physical Review Letter y todos los que trabajan en plantas pueden hacerlo en Plant Cell, pero éstas no son las revistas que deben usarse para caracterizar los campos de trabajo de la mayor parte de los físicos o de los investigadores en plantas.

La idea de que los grupos grandes se benefician de índices h más altos porque los mismos autores participan en más trabajos es incuestionable, pero la corrección de este problema es algo muy complicado, porque la multiautoría se produce por fenómenos complejos y porque no todos los autores son responsables del abuso que se produce cuando figuran autores indebidamente. Investigadores de la Universidad de Sao Paulo en Brasil han abordado el problema de la multiautoría estudiando el índice h de todos los investigadores brasileños después de darse a conocer este índice y creando el índice h_I, que se obtiene dividiendo h por el número medio de autores en los h trabajos (Batista y otros, 2005). En la idea ya avanzada, la lógica de este índice es grande y los resultados fueron buenos, pero el índice es inaplicable cuando aparecen trabajos que corresponden a grandes colaboraciones, como en secuenciación genómica o en física de partículas. En estos casos, la media estaría dominada por la excepción, lo que no sería aceptable. La investigación médica también puede requerir de la colaboración de clínicos y biólogos moleculares formando grupos grandes en los que el mayor peso experimental lo llevan pocos, pero en la que todos son necesarios.

En el otro platillo de la balanza están las ventajas del uso del índice h_I en España, ya que la aplicación de este índice rescataría a muchos científicos que han trabajado aislados en las universidades creadas en los últimos años y actuaría como corrector del abuso en la inclusión de autores. La multiautoría indebida se da en casi todos los países, pero en España es muy notoria, y además hay diferencias entre Comunidades Autónomas, lo que hace suponer que, efectivamente, la política científica no es ajena a la situación. No cabe duda de que el exceso de evaluaciones formales con un peso alto del número de trabajos publicados induce esta respuesta de la comunidad científica. Por ello, si la política científica ha exagerado el problema, la política científica debe de corregirlo. No obstante, aplicar la corrección a los más jóvenes sería un error porque a muchos becarios se les puede haber obligado a compartir autoría con personas que no han tenido ninguna participación en el trabajo publicado y sería injusto que ahora fueran perjudicados por algo que no estaban en condiciones de evitar.

Una solución alternativa al índice h_I, aplicable en muchos campos, sería tabular los trabajos en los que el científico evaluado aparezca como primer o último autor. Este es un índice de notable interés, al que llamamos h_K.

Una característica del índice h es que depende del número de años de actividad del investigador, en un modelo simple que describe Hirsch la dependencia es lineal, y aunque en muchos casos reales la dependencia es compleja, la aproximación de Hirsch es excelente. Para comparar la productividad de investigadores de diferentes edades Hirsch describe el parámetro m (h ~ mn) en la que n es el número de años de actividad investigadora. La aplicación de este parámetro en España es absolutamente necesaria si se quieren estudiar las productividad en la universidad, pero no aplicándolo a la edad sino a lo producido en los últimos 10-20 años. Esto es así porque en los años 60-70 la investigación en la universidad era casi nula y en los años 80 las diferencias entre las universidades antiguas y las de nueva creación eran todavía enormes. Por ello, los índices h de los que desarrollaron (y aún desarrollan) la investigación en las universidades periféricas está muy perjudicado. Para la física, Hirsch da un valor de m ≈ 1 para un investigador con éxito, m ≈ 2 para un investigador extraordinario y m ≈ 3 para un investigador excepcional. En la universidad española hay profesores que en los últimos 10-20 años superan el nivel de éxito de Hirsch, pero esto es casi imposible si el período investigador se extiende a los años 60 o 70.

Como ya hemos explicado, al contrario que el factor de impacto de las revistas, que debe de ser completamente desterrado de las evaluaciones, el índice h y sus derivados se han diseñado para evaluar a científicos y se han probado evaluando a científicos, lo que les concede una validez excepcional. No obstante, no son una solución definitiva para que las evaluaciones formales puedan sustituir completamente a las realizadas por pares. Incluso en la determinación de los valores de referencia por campo, h_R, tienen que intervenir los pares, como ya hemos dicho.

La ventaja de la aplicación de estos índices es que quizás en un 90% de las evaluaciones en ciencia y tecnología, los índices reflejan razonablemente lo que dirían los pares, teniendo en cuenta que no hay ningún procedimiento enteramente cuantitativo.

Conviene tener en cuenta dos aspectos en la aplicación de h. El primero es que no siempre las citas reflejan la calidad de un trabajo, ya que algunos trabajos aplicados pueden ser muy útiles y no tener muchas citas. El segundo es que la productividad de un investigador español está muy condicionada por el medio, y no siempre el m de los 10-20 últimos años corrige este problema, porque son problemas estructurales que aún no están resueltos.

Por circunstancias diversas las evaluaciones de la CNEAI constituyen referencia casi exclusiva de la actividad investigadora en España, otorgándoles una función que va más allá de la función que inspiró la creación de la CNEAI: distinguir a quien investiga de quien no lo hace. Sorprende que aunque España tiene acceso a la base de datos Thonsom Web of Knowledge desde noviembre de 2003, al menos en la red Rebiun, en los CV que exigen las diversas administraciones para financiar proyectos o pagar complementos, no se pidan parámetros como el número total de citas o el número de citas por trabajo (descontadas autocitas). Si no se ponen los medios, nunca se corregirá el hecho de que la publicación en sí misma sea la única finalidad de muchos investigadores españoles, con independencia de valor científico o técnico del trabajo.

El índice h es excelente para una evaluación formal de la calidad y debe de usarse, pero hay algunas observaciones sobre su uso en política científica que deben de tenerse presente. La primera quizás es que h depende del tamaño de la población de los científicos que trabajan en un determinado tema, como ya se ha dicho, y como en los temas hay modas que atraen a muchos investigadores en un momento determinado, los que investigan en esos temas tienen más probabilidad de alcanzar índices h altos. En estas circunstancias, si el sistema presiona indiscriminadamente hacia índices h altos, la respuesta de los investigadores será concentrarse en esas áreas y dejar abandonadas las de h bajos, lo que en un sistema científico y técnico tan pequeño como el español sería un desastre. Por ello, la referencia de los valores individuales de h al índice h_R es imprescindible. No obstante, esto no es necesario cuando se comparan instituciones similares, por ejemplo: facultades de químicas o de medicina; en estos casos es suficiente comparar las distribuciones de las frecuencias de h en cada centro.

Hirsch sugiere, con cautelas, los valores de h que, de forma automática, deberían de conducir a obtener una plaza permanente en la universidad y a progresar en la carrera científica, incluido el nombramiento de miembro de la National Academy of Sciences. Aplicar un criterio formal similar en España, en universidades y OPIS, incluyendo los índices que hemos discutido, sería el mayor avance para nuestro sistema de I+D que podría lograrse después de la creación de la CNEAI. Este sistema, lamentablemente, no es aplicable, salvo alguna excepción, a las ciencias sociales y a las humanidades, porque estas áreas carecen de bases de datos de revistas suficientemente extensas y por el gran peso que en estas áreas tiene la publicación de libros, que escapan por el momento al análisis sistemático de citas.