El pasado mes de noviembre la revista Science publicó un curioso artículo; trataba de bibliometría de la literatura científica. No pretendía analizar números de publicaciones, índices de impacto, índice h o cualesquiera otros parámetros de los utilizados habitualmente como indicadores de calidad o producción científica. A los autores del artículo les interesaba la trayectoria que siguen los manuscritos hasta que son aceptados para su publicación.

Preguntaron a los autores de todos los artículos de investigación publicados entre 2006 y 2008 en 16 categorías temáticas englobadas en lo que conocemos como ciencias biológicas (923 revistas), si su artículo había sido enviado en primer lugar a la revista que lo había publicado y, de no ser así, a qué revista lo había enviado antes. Controlaron de ese modo la historia de 80748 artículos (37% del total), y con las respuestas elaboraron una red de flujos de manuscritos entre revistas científicas.

A partir del análisis de la red y de los flujos, obtuvieron algunos resultados que eran previsibles, y también observaron fenómenos que no esperaban. Los flujos resultaron ser modulares, algo que sí esperaban, pues parece lógico que los artículos se reenvíen a otra revista de similar adscripción disciplinar o perteneciente al mismo módulo. De hecho, los autores identificaron siete módulos o comunidades principales, subdivisión que era muy consistente con las categorías temáticas definidas por ISI[1]. Y por otro lado, las revistas que ocupan una posición más central en la red de reenvíos eran también aquellas con un mayor índice de impacto (según la métrica ISI).

Otro resultado esperado es que las revistas de alto impacto tienden a ser las elegidas por los autores en primer lugar. Los reenvíos posteriores son muy poco recíprocos entre pares de revistas, y dado que se producen principalmente a revistas de menor impacto que la primera, los flujos de artículos tienden a producirse en sentido descendente del impacto de las revistas.

En conjunto, el 75% de todos los artículos publicados lo habían sido en el primer intento, y ninguna de las revistas estaba, por así decir, especializada en “reciclar” artículos. Por lo tanto, la mayoría de los artículos publicados habían sido bien dirigidos desde el principio, lo que revela un elevado nivel de eficacia por parte de sus autores, ya que limitaron el riesgo de rechazo.

En principio, cabría pensar que las revistas de alto impacto atraerían muchos primeros envíos de artículos y que podrían seleccionar entre ellos. Y por contraste, las revistas de bajo impacto recibirían y publicarían más a menudo artículos rechazados previamente por las anteriores. De ese modo se establecería una cierta asociación entre el índice de impacto y la proporción de artículos publicados que han sido enviados por primera vez. Sin embargo, sorprendentemente, y excepción hecha de las tres revistas de más alto índice de impacto (Nature, Science y PNAS), lo que indican los datos es justo lo contrario. La proporción de artículos publicados que han sido enviados por primera vez a una revista disminuye conforme aumenta el índice de impacto de la revista. Ese fenómeno podría deberse a que las revistas de más alto impacto se encuentran en un entorno más competitivo, en el que se producen porcentajes de rechazo alto; así, los rechazados por esas revistas serían remitidos con más frecuencia a revistas de similar nivel, en las que muchos de ellos encontrarían acomodo. De esa forma, en las revistas de alto impacto (con las excepciones antes señaladas) se acabarían publicando muchos artículos que se habrían remitido tras ser rechazados en otras similares. En ese sentido, conviene recordar que incluso en revistas como Nature o Science no todos los artículos les han sido enviados a ellas en primer lugar, porque ambas publican manuscritos que han sido previamente rechazados por la otra. Por el contrario, las publicaciones de menor índice de impacto están más especializadas, se encuentran en un entorno menos competitivo, en el que hay menores tasas de rechazo, de manera que reciben menos artículos que han sido rechazados previamente por otras revistas.

Otro resultado interesante de este estudio fue que los artículos publicados tras ser rechazados en la primera revista a que fueron enviados, son más citados que los publicados al primer intento. Las diferencias fueron altamente significativas. A juicio de los autores, la explicación más probable para este fenómeno es que las aportaciones de editores y revisores, junto con el mayor tiempo y esfuerzo dedicado a los artículos que son rechazados en primera instancia y publicados al segundo intento, hacen que el manuscrito que es finalmente publicado mejore de forma significativa con respecto a los que se publican al primer intento. Por lo tanto, la revisión por pares no solo constituye un mecanismo de selección de artículos para la publicación, sino que sería, también, un factor de mejora de los artículos, razón por la que posteriormente recibirían más citas. De ser esto cierto, es algo que debieran tener en consideración los autores que dedican más tiempo y esfuerzo a reescribir sus trabajos, pues ese tiempo y esfuerzo acaba teniendo una recompensa.

Finalmente, también observaron que los artículos que, tras haber sido rechazados en una revista de una determinada comunidad o disciplina, son reenviados a una revista perteneciente a una comunidad de revistas diferente de la primera, reciben un número menor de citas que los que son reenviados a otras revistas de la misma familia o comunidad. En definitiva, el cambio de “familia” paga un precio en términos de impacto posterior.

En resumen. La trayectoria que siguen los manuscritos que son enviados a revistas científicas se produce de acuerdo con patrones bastante predecibles, pero tiene algunas consecuencias que no son fáciles de anticipar. El sistema actual de publicación científica, con sus rasgos y derivaciones más importantes, -como son el coste de las suscripciones, el mecanismo de revisión por pares, y el uso del impacto de las revistas y de los mismos artículos en la toma de decisiones de financiación de la investigación-, están sometidos a una fuerte crítica. El debate está abierto y no es descartable que se produzcan cambios significativos en los próximos años. Por esa razón merece la pena tener un conocimiento preciso del sistema de publicación, de sus circunstancias y sus consecuencias.

Fuente: V. Calcagno, E. Demoinet, K. Gollner, L. Guidi, D. Ruths, C. de Mazancourt (2012): “Flows of Research Manuscripts Among Scientific Journals Reveal Hidden Submission Patterns” Science 338: 1065-1069 (DOI: 10.1126/science.1227833)

Nota 1: Francis Villatoro publicó hace unos días un interesante artículo sobre otro aspecto del sistema de publicación científica, el de los errores en el cálculo del índice de impacto en el Journal Citation Reports. Y Jose López Nicolás, ha publicado otro unos días después, en el que denuncia prácticas impropias, absolutamente rechazables, y de efectos muy perniciosos en algunas revistas científicas de cierto prestigio.

Nota 2: Francis Villatoro publicó hace tiempo una anotación sobre este mismo asunto en su blog.

Esta anotación ha sido escrita por Juan Ignacio Pérez (@Uhandrea)