A continuación se examina en qué medida la disponibilidad de criterios públicos y transparentes para la evaluación de la calidad de las revistas científicas ha incidido en los patrones de publicación de los investigadores españoles.
Para ello, se analiza el caso de la revista Sustainability, de la editorial MDPI, clasificada como revista de comportamiento anómalo y no estándar en el informe de análisis bibliométrico publicado por la ANECA en octubre de 2021 y posteriormente retirado por la institución (ver y ver). El objetivo es examinar en qué medida dicha clasificación —transparente y pública— tuvo incidencia sobre los patrones de envío de los investigadores españoles a esta revista.
Sustainability: la "revista comodín" española
Como se aprecia en el gráfico siguiente, Sustainability se había consolidado como la "revista comodín" para los investigadores españoles. El gráfico se construyó a partir de datos de la propia revista y muestra el número de publicaciones y el personal docente e investigador (PDI) por país. Destaca que España era el país europeo con mayor número de artículos en esta revista, a pesar de los numerosos análisis críticos sobre su calidad (ver aquí o aquí).
En octubre de 2021, la ANECA publicó un informe que clasificaba las revistas científicas según criterios de calidad y señalaba que Sustainability no cumplía dichos estándares. Conviene destacar que países con altos niveles de exigencia en la rendición de cuentas del gasto público, como Finlandia o Noruega —donde se busca minimizar la captura del regulador— emplean sistemas similares basados en rankings que agrupan las revistas por niveles de calidad, asignando el nivel 0 (cero) a aquellas revistas que no alcanzan los criterios mínimos de calidad (ver o ver). Este nivel incluye a Sustainability en ambos países.
El cambio de patrón tras el informe de la ANECA
El gráfico que sigue se construyó a partir de la fecha de recepción de cada artículo publicado. En él se muestra la media móvil y el recuento semanal de artículos enviados a Sustainability por investigadores con filiación a instituciones españolas, alemanas e italianas, respectivamente. La franja sombreada corresponde al período enero—octubre de 2021, coincidente con la intensificación del debate sobre si Sustainability podía considerarse una revista depredadora, hasta la publicación del informe de la ANECA (ver los hilos; también ver, que traducido es Cazadores de beneficios diluyen la investigación noruega).
La evidencia sugiere un cambio en el patrón de envíos compatible con el ranking de la ANECA (ver este hilo): el número de artículos remitidos por investigadores españoles disminuye de forma significativa, en contraste con lo que ocurre en Italia y Alemania, que no adoptaron medidas, aunque también en estos países las críticas coincidieron con una tendencia decreciente. Este cambio de patrón puede observarse en la evolución relativa de las publicaciones enviadas a esta revista, como se aprecia en el gráfico de abajo.
Cabe destacar que, pese a esta reducción específica, el volumen total de artículos publicados en revistas científicas firmados por autores españoles creció en el período analizado.
Conclusión: transparencia y cambio de comportamiento
En definitiva, el mero hecho de que la ANECA elaborara y presentara un informe con un ranking de revistas basado en un criterio de calidad coincide con un cambio de comportamiento de los investigadores, aun cuando dicha propuesta no perduró en el tiempo. El ranking fue retirado por la nueva dirección de la ANECA argumentando que la evaluación de la investigación no debe centrarse en "la revista o la editorial" (criterios facilmente implementables) sino en evaluar la calidad de cada artículo (mecanismo de difícil implementación ver).
Sin embargo, no hay evidencia de que la nueva dirección haya adoptado algún criterio unificado, transparente y público que sirva de guía para las decisiones que se toman en función de la producción científica, como la concesión de plazas docentes o la asignación de proyectos de investigación.