Por lo general, un grupo de laboratorios con temas en común nos reunimos una hora a la semana para que alguien exponga los avances de su investigación y los demás hagamos preguntas o sugiramos análisis. Hace poco cambiamos la rutina: nadie presentó su trabajo. Nos sentamos a hablar acerca del factor de impacto de las revistas científicas en donde se publica la ciencia y la fuerte crítica que recientemente se ha hecho de esto.
El factor de impacto de las revistas científicas (JIF por su siglas en inglés) es un indicador que cuantifica el promedio de citas académicas realizadas a cada uno de los artículos de una revista científica durante los últimos años. Su propósito original, cuando en 1953 lo propuso un bibliotecólogo, era ayudar a las bibliotecas a escoger a qué revistas científicas suscribirse. Sin embargo, su uso derivó en que hoy se utiliza para comparar el desempeño académico de personas e instituciones. Así, la suma de cuántos artículos y el factor de impacto de las revistas en donde éstos se publicaron, puede ser el elemento principal al examinar un CV y decidir si contratar a una persona u otra, o para resolver si asignar más o menos presupuesto a tal o cual Facultad dentro de una Universidad.
Pareciera que utilizar el factor de impacto sería una salida pragmática y hasta cierto punto objetiva para evaluar el desempeño de investigadores e instituciones. Sin embargo, en el último par de años diversos miembros de la comunidad científica han señalado varios problemas y consecuencias negativas de utilizar el factor de impacto para tal efecto. El descontento derivó en la formación de la Declaración de San Francisco sobre la Evaluación de la Investigación (DORA, por sus siglas en inglés) en diciembre del 2012. La declaración fue firmada originalmente por 155 académicos y 82 instituciones y editoriales de revistas científicas. Entre éstas se incluyen The American Association for the Advancement of Science (la editorial de Science), Proceedings of The National Academy Of Sciences entre otras. Al 27 de octubre del 2013 la lista de firmantes incluía 9,596 individuos y 409 instituciones.
De acuerdo con la DORA y diversos estudios (ver referencias al final), el factor de impacto no es una buena medida del desempeño científico, entre otras cosas, porque:
(A) Existen graves sesgos en cómo se distribuyen las citas bibliográficas dentro de las revistas científicas [1-3];
(B) El factor de impacto depende del campo de estudio. Varía de acuerdo con el tamaño de la comunidad científica enfocada en un campo en particular, con la velocidad con la cual es posible publicar artículos de investigación en ese campo, con cuántos artículos tipo revisión se publican y con otros factores que varían dependiendo de la disciplina de estudio [1, 4];
(C) El factor de impacto puede ser manipulado por las políticas de publicación de las revistas [5] (por ejemplo dando preferencia a la publicación de revisiones en temas populares, pues esto genera citas más rapidamente);
(D) Los datos (es decir la relación de citas) y el método exacto con los cuales cada revista calcula su factor de impacto no son transparentes ni están disponibles al público [4,6,7].
Las consecuencias que esto puede tener para la ciencia no son evidentes, pero sí pueden ser importantes. Por ejemplo, Bruce Alberts, el editor en jefe de la revista Science comentó que el mal uso del factor de impacto está llevando a que los y las científicas se enfoquen en “la ciencia del yo también”, es decir, en realizar investigación en campos donde ya hay mucha gente trabajando, y por ende realizando citas, en vez de proponer ideas arriesgadas pero potencialmente innovadoras sólo porque para desarrollar este tipo de proyectos se requiere de un tiempo largo sin poder generar resultados que publicar. Otro problema es que las propias revistas pueden sesgar lo que eligen publicar hacia campos que generan más citas (como es la tendencia en la investigación biomédica), en vez de a otros campos que también generan resultados importantes, por ejemplo, las ciencias sociales y la ecología [8].
Lo que la DORA propone para evitar el problema que el mal uso del factor de impacto puede causar son 18 recomendaciones dirigidas a investigadores, instituciones, agencias de financiamiento, organizaciones que realizan las mediciones y editoriales científicas. En resumen, las sugerencias son:
a) eliminar el uso de métricas basadas en el factor de impacto de una revista como método para decidir a quién brindar financiamiento y promociones;
b) evaluar la investigación por sus méritos propios, en vez basarse en el prestigio de la revista en donde se publicó;
c) Aprovechar las ventajas que ofrece la publicación en línea (como relajar el límite de palabras y referencias); y
d) explorar indicadores de impacto alternativos
La versión completa de las 18 recomendaciones se encuentra en la página de DORA y merece una lectura.
Me parece que independientemente de si se está de acuerdo o no con todos los puntos de la declaración, el factor de impacto y la forma en la que se evalúa la ciencia amerita discutirse por la comunidad editorial científica y por quienes hacemos ciencia. De hecho, mi objetivo al escribir esto es invitar a quienes forman parte de un grupo de investigación a que discutan este tema con sus colegas.
Nosotros lo discutimos en un bloque libre en nuestro calendario de seminarios, y obtuvimos como resultado una gama de opiniones bastante diversa e interesante. Para facilitar la discusión nosotros comenzamos por resumir en una presentación de 25 minutos el artículo que LabTimes publicó al respecto; las recomendaciones de la DORA; los indicadores alternativos como el índice-H, Altmetric e ImpactStory; este artículo que compara el factor de impacto, la revisión post-publicación y el número de citas; y las columnas, editoriales y especiales que se publicaron en Science, Genetics y Nature. Vale la pena organizar que 3 o 4 voluntarios o voluntarias preparen la presentación, de esta manera el resto de la comunidad puede unirse a la discusión incluso si no tuvo tiempo de leer todo el material.
¿La ciencia se evaluará de forma distinta en un futuro cercano? ¿Qué implicaciones tendrá la manera en que la ciencia se fomenta y evalúa en cada país? La historia dirá (‘y probablemente mienta’, hubiera dicho el biólogo evolutivo Godfrey Hewitt en una de sus frases célebres al tocar temas políticos). Pero por lo pronto, me parece que las instituciones y la comunidad científica de México debemos unirnos a la discusión y reflexión internacional sobre el tema.
[hozbreak]
Referencias
- Adler, R., Ewing, J., and Taylor, P. (2008) Citation statistics. A report from the International Mathematical Union. www.mathunion.org/publications/report/citationstatistics0
- Seglen, P.O. (1997) Why the impact factor of journals should not be used for evaluating research. BMJ 314, 498–502.
- Editorial (2005). Not so deep impact. Nature 435, 1003–1004.
- Vanclay, J.K. (2012) Impact Factor: Outdated artefact or stepping-stone to journal certification. Scientometrics 92, 211–238.
- The PLoS Medicine Editors (2006). The impact factor game. PLoS Med 3(6): e291 doi:10.1371/journal.pmed.0030291.
- Rossner, M., Van Epps, H., Hill, E. (2007). Show me the data. J. Cell Biol. 179, 1091–1092.
- Rossner, M., Van Epps H., and Hill E. (2008). Irreproducible results: A response to Thomson Scientific. J. Cell Biol. 180, 254–255.
- Alberts, B. (2013). Impact Factor Distortions. Science 340, 787–787.
[hozbreak]
Acerca del autor
Alicia Mastretta Yanes es Bióloga egresada de la UNAM y actualmente cursa su doctorado en la University of East Anglia, Inglaterra. Su proyecto explora la relación entre las características físicas del paisaje y la distribución de la diversidad genética en plantas de alta montaña de México. Tuitea como @AliciaMstt