La justa medida de la excelencia científica

Naukas

François Englert Y Peter Higgs el pasado 4 de julio de 2012 en una conferencia de prensa en el CERN
François Englert y Peter Higgs el pasado 4 de julio de 2012 en una conferencia de prensa en el CERN

La palabra de moda en el sistema universitario español es excelencia. En un grupo de colegas, que tratan de saberlo todo sobre casi nada, detectar a los excelentes es fácil, gracias a sus ideas brillantes, profundas, sorprendentes, bellas, … Sin embargo, no hay ninguna medida bibliométrica (o cienciométrica) infalible que permita seleccionarles entre una multitud de candidatos a una plaza permanente de profesor y/o investigador. Los expertos en recursos humanos recomiendan la entrevista personal y la evaluación por pares, cuyo alto coste sólo se pueden permitir ciertas instituciones.

Lo peor es que, incluso si logramos incorporar a los excelentes, nadie garantiza que lo seguirán siendo en el futuro. No hay ninguna medida bibliométrica capaz de predecir el futuro con rigor. La alternativa es la evaluación periódica de los profesores, pero se podría perder a las “bellas durmientes” de la ciencia. El escocés Peter W. Higgs y el belga François Englert, los dos galardonados con el Premio Nobel de Física 2013, lograrán que sus universidades, la Universidad de Edimburgo y la Universidad Libre de Bruselas, asciendan algunos puestos en el ranking de Shanghái de las 500 mejores universidades del mundo. Este año ocupan el puesto 51 y un puesto entre 101 y 150, respectivamente, muy por delante de las mejores universidades españolas, que se encuentran entre los puestos 201 y 300.

Figura 1. Publicaciones de “Higgs PW” en el ISI Web of Science de Thomson/Reuters entre 1951 y 2013 [imagen fechada el 10 octubre de 2013].
Figura 1. Publicaciones de “Higgs PW” en el ISI Web of Science de Thomson/Reuters entre 1951 y 2013 [imagen fechada el 10 octubre de 2013].
Peter W. Higgs estudió Física en el King’s College (Universidad de Londres) y obtuvo su tesis doctoral en 1954. Tras pasar por varias plazas postdoctorales, logró una plaza de profesor en la Universidad de Edimburgo en octubre de 1960. Según el ISI Web of Science de Thomson/Reuters, Higgs atesoraba 15 artículos en revistas impactadas. No publicó ningún nuevo artículo hasta 1964, su annus mirabilis, en el que publicó dos artículos, sólo 5 páginas en total, que le encumbraron a los libros de historia de la física. Desde entonces sólo ha publicado 3 artículos más (en revistas impactadas del ISI Web of Science). En 1970 ascendió de categoría como profesor y la mantuvo hasta que se jubiló en 1996. Ahora es profesor emérito, Premio Nobel de Física y uno de los físicos más famosos de la actualidad. Por si te lo preguntas, su índice-h es de 10 y su artículo más citado tiene 1373 citas.

Figura 2. Publicaciones de “Englert F” en el ISI Web of Science de Thomson/Reuters entre 1951 y 2013 [imagen fechada el 10 octubre de 2013].
Figura 2. Publicaciones de “Englert F” en el ISI Web of Science de Thomson/Reuters entre 1951 y 2013 [imagen fechada el 10 octubre de 2013].
François Englert estudió Ingeniería en la Universidad Libre de Bruselas (Bélgica) y obtuvo su doctorado en Física en 1959. Su postdoctorado en EEUU le permitió conocer a Robert Brout (fallecido en 2011), su amigo y colega durante toda su vida; obtuvo una plaza de profesor en la Universidad Libre de Bruselas en 1961, donde trabajó con Brout hasta su jubilación en 1998. Su producción científica es mucho más convencional que la de Higgs y según el ISI Web of Science de Thomson/Reuters, ha publicado 99 artículos en revistas impactadas. Ahora también es profesor emérito y Premio Nobel de Física, pero es un físico mucho menos famoso que Higgs entre el público general.

Como me lo vas a preguntar, me adelanto: su índice-h es de 28, teniendo su artículo más citado 1108 citas (datos de 10 de octubre de 2013 en el ISI Web of Science). Englert ha trabajado durante toda su vida en rotura espontánea de la simetría, aplicando el mecanismo de Brout—Englert—Higgs y sus variantes a teorías de supergravedad y supercuerdas, así como estudiando sus consecuencias en los modelos cosmológicos.

Imagina que en 1961 tuvieras que decidir entre contratar a Higgs (escocés con 15 artículos impactados) o a Englert (belga con 6 artículos impactados), ¿a quién contratarías? En 1972, ni Higgs ni Englert eran físicos famosos (salvo en un círculo muy reducido de expertos en teorías cuánticas de campos). Imagina que tuvieras que contratar a Higgs, con 19 artículos impactados, o a Englert, con 27 artículos impactados, ¿a quién contratarías?

Entre los expertos, el nombre de Higgs se hizo famoso gracias a una conferencia plenaria de Benjamin W. Lee en la Conferencia Internacional de Física de Alta Energía celebrada en 1972 en el (ahora llamado) Fermilab, en Batavia, Illinois, EEUU. El artículo más importante durante la búsqueda temprana del bosón escalar predicho por el mecanismo de rotura espontánea de la simetría electrodébil, escrito por John Ellis, Mary K. Gaillard y Dimitri V. Nanopoulos en 1976, también asignó el nombre “bosón de Higgs” a dicha partícula.

Figura 2. Número de citas de 3 artículos publicados en Physical Review Letters en 1990 y predicción de este número mediante la fórmula de Wang—Song—Barabási. Fuente: Wang et al (2013).
Figura 2. Número de citas de 3 artículos publicados en Physical Review Letters en 1990 y predicción de este número mediante la fórmula de Wang—Song—Barabási. Fuente: Wang et al (2013).

Medir la excelencia requiere predecir el impacto futuro de las publicaciones. Se han propuesto muchos métodos pero todos presentan gran número de limitaciones prácticas y de poder predictivo. Usar un único índice bibliométrico no parece una buena decisión a priori, sin embargo, cuando Jorge E. Hirsch introdujo el índice-h en el año 2005 sugirió que podría ser un buen predictor [footnote]Jorge E. Hirsch, “An index to quantify an individual’s scientific research output,” Proc. Nat. Acad. Sci. 46: 16569, 2005. DOI:10.1073/pnas.0507655102[/footnote]. Sin embargo, estudios más recientes nos indican que la evolución del índice-h depende mucho del área de conocimiento y que su valor predictivo es muy discutible. Ello no quita que se hayan publicado artículos a favor [footnote]Daniel E. Acuña, Stefano Allesina, Konrad P. Kording, “Future impact: Predicting scientific success,” Nature 489: 201–202, 13 Sep 2012. DOI:10.1038/489201a (recomiendo leer también el editorial “Count on me,” Nature 489: 177, 13 Sep 2012. DOI:10.1038/489177a).[/footnote] y que se hayan desarrollado aplicaciones informáticas y páginas web de predicción del índice-h futuro, como H-index Predictor. Pero la mayoría de los expertos dudan de la generalidad y credibilidad de estos resultados.

Parece más razonable combinar varios índices bibliométricos en una fórmula, como la desarrollada por el grupo de Albert-László Barabási (Universidad Northeastern en Boston, Massachusetts, EEUU) [footnote]Wang D., Song C. & Barabasi A.L. (2013). Quantifying Long-Term Scientific Impact, Science, 342 (6154) 127-132. DOI: [/footnote][footnote]Richard Van Noorden, “Formula predicts research papers’ future citations,” News, Nature, 03 Oct 2013. DOI:10.1038/nature.2013.13881[/footnote]. La fórmula de Wang—Song—Barabási tiene tres parámetros libres que han de ser ajustados en función de la evolución del número de citas del artículo con el tiempo; en la figura 2 se ilustra la gran bondad del resultado cuando se utilizan los primeros cinco años, pero no hay que ser demasiado optimistas. El ajuste de estos parámetros es bueno sólo si el artículo ha tenido un buen número de citas durante dichos años, pero, si ese ha sido el caso, suele tener poco interés práctico predecir como evolucionará su número de citas en el futuro.

La fórmula de Wang—Song—Barabási utiliza tres parámetros, luego, por pura estadística, su poder predictivo es mayor que si se usara un sólo parámetro. Me gustaría recordar la frase de John von Neumann “con cuatro parámetros puedo ajustar [la forma de] un elefante y con cinco puedo lograr que mueva su trompa.” La realidad es que un modelo predictivo que use muchos parámetros deja de ser predictivo, pues estimar bien dichos parámetros con pocos datos se vuelve poco práctico.

Hace un par de semanas mantuve una agradable conversación con un amigo que proponía la creación de una universidad de excelencia en España, una universidad pensada para ocupar los primeros puestos de los rankings como el de Shangái. Una institución que sólo aceptaría a los mejores alumnos y que sólo contrataría a profesores de excelencia demostrada, incluso galardonados con el Premio Nobel o candidatos a obtenerlo pronto. Su propuesta me recordaba al Instituto para el Estudio Avanzado (IAS) de Princeton, EEUU, sólo dedicado a la investigación, pero él insistía en poner ejemplos de universidades como Harvard, Stanford, Oxford o MIT. Mi único argumento en contra de su propuesta, que me sigue pareciendo razonable, es cómo medir la excelencia. Su respuesta era obvia: “Todo el mundo sabe quiénes son los excelentes, basta preguntar a sus colegas.” Quizás sea así de fácil, o quizás no siempre. Lo cierto es que la excelencia se contagia y que muchos alumnos de galardonados con el Premio Nobel han logrado obtenerlo. Medir la excelencia científica con una fórmula matemática parece imposible, pero somos humanos y por fortuna tenemos una habilidad especial para descubrir la excelencia a nuestro alrededor. La utopía de mi amigo quizás algún día se haga realidad.

Esta anotación ha sido realizada por Francisco R Villatoro (@emulenews) y es una colaboración de Naukas con la Cátedra de Cultura Científica de la UPV/EHU.

2 comentarios

  • Avatar de Miguel

    Las medidas bibliometricas tienen muchos problemas, como además tiene cualquier sistema de evaluación. Pero son infinitamente mejores que su alternativa: no evaluar y considerar todos por igual.

  • Avatar de Therfer

    La cuestión es, ¿quién hubiese apostado por Higgs, o cualquier otro, en el instituto? El camino de la excelencia empieza en la secundaria, no en la Universidad…como el Barça empieza en la cantera de la Masia, y no con fichajes (a lo IAS Princeton) y se nos está olvidando…

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *