La palabra de moda en el sistema universitario español es excelencia. En un grupo de colegas, que tratan de saberlo todo sobre casi nada, detectar a los excelentes es fácil, gracias a sus ideas brillantes, profundas, sorprendentes, bellas, … Sin embargo, no hay ninguna medida bibliométrica (o cienciométrica) infalible que permita seleccionarles entre una multitud de candidatos a una plaza permanente de profesor y/o investigador. Los expertos en recursos humanos recomiendan la entrevista personal y la evaluación por pares, cuyo alto coste sólo se pueden permitir ciertas instituciones.

Lo peor es que, incluso si logramos incorporar a los excelentes, nadie garantiza que lo seguirán siendo en el futuro. No hay ninguna medida bibliométrica capaz de predecir el futuro con rigor. La alternativa es la evaluación periódica de los profesores, pero se podría perder a las “bellas durmientes” de la ciencia. El escocés Peter W. Higgs y el belga François Englert, los dos galardonados con el Premio Nobel de Física 2013, lograrán que sus universidades, la Universidad de Edimburgo y la Universidad Libre de Bruselas, asciendan algunos puestos en el ranking de Shanghái de las 500 mejores universidades del mundo. Este año ocupan el puesto 51 y un puesto entre 101 y 150, respectivamente, muy por delante de las mejores universidades españolas, que se encuentran entre los puestos 201 y 300.

Como me lo vas a preguntar, me adelanto: su índice-h es de 28, teniendo su artículo más citado 1108 citas (datos de 10 de octubre de 2013 en el ISI Web of Science). Englert ha trabajado durante toda su vida en rotura espontánea de la simetría, aplicando el mecanismo de Brout—Englert—Higgs y sus variantes a teorías de supergravedad y supercuerdas, así como estudiando sus consecuencias en los modelos cosmológicos.

Imagina que en 1961 tuvieras que decidir entre contratar a Higgs (escocés con 15 artículos impactados) o a Englert (belga con 6 artículos impactados), ¿a quién contratarías? En 1972, ni Higgs ni Englert eran físicos famosos (salvo en un círculo muy reducido de expertos en teorías cuánticas de campos). Imagina que tuvieras que contratar a Higgs, con 19 artículos impactados, o a Englert, con 27 artículos impactados, ¿a quién contratarías?

Entre los expertos, el nombre de Higgs se hizo famoso gracias a una conferencia plenaria de Benjamin W. Lee en la Conferencia Internacional de Física de Alta Energía celebrada en 1972 en el (ahora llamado) Fermilab, en Batavia, Illinois, EEUU. El artículo más importante durante la búsqueda temprana del bosón escalar predicho por el mecanismo de rotura espontánea de la simetría electrodébil, escrito por John Ellis, Mary K. Gaillard y Dimitri V. Nanopoulos en 1976, también asignó el nombre “bosón de Higgs” a dicha partícula.

Medir la excelencia requiere predecir el impacto futuro de las publicaciones. Se han propuesto muchos métodos pero todos presentan gran número de limitaciones prácticas y de poder predictivo. Usar un único índice bibliométrico no parece una buena decisión a priori, sin embargo, cuando Jorge E. Hirsch introdujo el índice-h en el año 2005 sugirió que podría ser un buen predictor [footnote]Jorge E. Hirsch, “An index to quantify an individual’s scientific research output,” Proc. Nat. Acad. Sci. 46: 16569, 2005. DOI:10.1073/pnas.0507655102[/footnote]. Sin embargo, estudios más recientes nos indican que la evolución del índice-h depende mucho del área de conocimiento y que su valor predictivo es muy discutible. Ello no quita que se hayan publicado artículos a favor [footnote]Daniel E. Acuña, Stefano Allesina, Konrad P. Kording, “Future impact: Predicting scientific success,” Nature 489: 201–202, 13 Sep 2012. DOI:10.1038/489201a (recomiendo leer también el editorial “Count on me,” Nature 489: 177, 13 Sep 2012. DOI:10.1038/489177a).[/footnote] y que se hayan desarrollado aplicaciones informáticas y páginas web de predicción del índice-h futuro, como H-index Predictor. Pero la mayoría de los expertos dudan de la generalidad y credibilidad de estos resultados.

Parece más razonable combinar varios índices bibliométricos en una fórmula, como la desarrollada por el grupo de Albert-László Barabási (Universidad Northeastern en Boston, Massachusetts, EEUU) [footnote]Wang D., Song C. & Barabasi A.L. (2013). Quantifying Long-Term Scientific Impact, Science, 342 (6154) 127-132. DOI: 10.1126/science.1237825[/footnote][footnote]Richard Van Noorden, “Formula predicts research papers’ future citations,” News, Nature, 03 Oct 2013. DOI:10.1038/nature.2013.13881[/footnote]. La fórmula de Wang—Song—Barabási tiene tres parámetros libres que han de ser ajustados en función de la evolución del número de citas del artículo con el tiempo; en la figura 2 se ilustra la gran bondad del resultado cuando se utilizan los primeros cinco años, pero no hay que ser demasiado optimistas. El ajuste de estos parámetros es bueno sólo si el artículo ha tenido un buen número de citas durante dichos años, pero, si ese ha sido el caso, suele tener poco interés práctico predecir como evolucionará su número de citas en el futuro.

La fórmula de Wang—Song—Barabási utiliza tres parámetros, luego, por pura estadística, su poder predictivo es mayor que si se usara un sólo parámetro. Me gustaría recordar la frase de John von Neumann “con cuatro parámetros puedo ajustar [la forma de] un elefante y con cinco puedo lograr que mueva su trompa.” La realidad es que un modelo predictivo que use muchos parámetros deja de ser predictivo, pues estimar bien dichos parámetros con pocos datos se vuelve poco práctico.

Hace un par de semanas mantuve una agradable conversación con un amigo que proponía la creación de una universidad de excelencia en España, una universidad pensada para ocupar los primeros puestos de los rankings como el de Shangái. Una institución que sólo aceptaría a los mejores alumnos y que sólo contrataría a profesores de excelencia demostrada, incluso galardonados con el Premio Nobel o candidatos a obtenerlo pronto. Su propuesta me recordaba al Instituto para el Estudio Avanzado (IAS) de Princeton, EEUU, sólo dedicado a la investigación, pero él insistía en poner ejemplos de universidades como Harvard, Stanford, Oxford o MIT. Mi único argumento en contra de su propuesta, que me sigue pareciendo razonable, es cómo medir la excelencia. Su respuesta era obvia: “Todo el mundo sabe quiénes son los excelentes, basta preguntar a sus colegas.” Quizás sea así de fácil, o quizás no siempre. Lo cierto es que la excelencia se contagia y que muchos alumnos de galardonados con el Premio Nobel han logrado obtenerlo. Medir la excelencia científica con una fórmula matemática parece imposible, pero somos humanos y por fortuna tenemos una habilidad especial para descubrir la excelencia a nuestro alrededor. La utopía de mi amigo quizás algún día se haga realidad.

Esta anotación ha sido realizada por Francisco R Villatoro (@emulenews) y es una colaboración de Naukas con la Cátedra de Cultura Científica de la UPV/EHU.