¿Quién garantiza la integridad académica?

Resumen de la replicación

1. Las estimaciones publicadas son incorrectas en los 4 artículos enmarcados en azul

En los cuatro artículos, los autores afirman aplicar el método FMOLS a un panel de datos de la Unión Europea.
Sin embargo, la réplica demuestra que las estimaciones publicadas son incorrectas: los autores reportan la estimación correspondiente a un solo país y no la estimación para el panel de la UE. Este mismo error se repite de forma idéntica en los cuatro artículos en los que aplican FMOLS:

• Los autores utilizan el mismo comando de STATA en los 4 artículos pero reportan estimaciones de un output accesorio, no el output principal del comando.
• Esto invalida la narrativa principal de los artículos. En algún caso, el signo de la estimación correcta es opuesto al reportado, por lo que la narrativa real es la contraria a la presentada.
• Aunque las estimaciones sean incorrectas, en algún artículo ni siquiera es posible replicar el resultado incorrecto (ver).

Las revistas respondieron de manera heterogénea: retraction, corrigendum o dejar el artículo tal cual (ver más abajo).

2. No coinciden algunas estimaciones, signos, desviaciones estándar u otros estadísticos entre réplica y originales publicados

Utilizando el mismo comando que los autores, se han intentado replicar los resultados publicados. De 5 artículos con datos, los resultados de 2 no pudieron replicarse. En los 3 restantes se encontraron discrepancias entre la réplica y lo publicado:

3. Artículos idénticos excepto una variable

Los artículos analizados repiten la misma estructura de artículo, utilizan la misma fuente de datos de datos, la misma metodología y cometen el mismo error al reportar los resultados.

Hay dos artículos que llevan este presunto auto-plagio al extremo: los artículos publicados en Renewable Energy y Environmental and Sustainability Indicators explican la misma variable dependiente $Y$ con las mismas variables explicativas, excepto por una:

• El primer artículo explica $Y$ por $X_1$ y $Z$.
• El segundo artículo explica $Y$ por $X_2$ y $Z$.

Como ejemplo de esta reproducción de artículos, a pesar de ser dos modelos distintos, en ambos artículos se presentan la misma tabla con las mismas estimaciones: solo cambian el nombre de la variable en la tabla.

A pesar de que tratan del mismo tema, mismas variables, misma metodología, mismos datos, los artículos no se autoreferencian, de forma de que los revisores no puedan identificarlos.

4. No se presentaron en seminarios, foros o congresos académicos

No se observa que los artículos hayan sido presentados previamente en foros, seminarios o conferencias académicas: el objetivo parece ser publicar rápido. Esta señal resulta relevante, ya que presentar en conferencias está asociado a una mayor calidad de la investigación, con un mayor tiempo de maduración y discusión de resultados, además de permitir socializar el conocimiento (ver).

5. Más problemas en otros artículos

¿Por qué otros artículos de los mismos autores deben ser rectificados? (ver)

6. Responsabilidad compartida

Cuestiones

• ¿Deben financiarse con fondos públicos la publicación de todo tipo de artículo científico?
• Un sistema de rankeo y financiamiento por nivel de impacto académico —como el modelo de Noruega o Finlandia— podría generar incentivos para ignorar o desplazar cierto tipo de investigación que se publica, en mayor medida, en revistas de bajo impacto (ver).
• ¿Debería la universidad pública tomar medidas para disuadir este tipo de comportamiento?
• ¿Debería incentivarse o recompensarse la replicación de artículos, de forma análoga a cómo se protege y reconoce la labor de los whistleblowers en el ámbito de la competencia económica?

Respuesta de los autores y resolución de las revistas

Los autores justificaron el error (publicar estimaciones incorrectas) como «un descuido al interpretar la salida del programa» y propusieron diferentes alternativas para mantener la narrativa utilizando la correcta interpretación de la salida del comando de STATA.

Energy Economics: Retractado

Al ver la respuesta de los autores, el editor de Energy Economics optó directamente por retractar (ver) el artículo. En sus argumentos dejaba entrever que jugar con los datos para que las nuevas estimaciones encajen con las publicadas (incorrectas) no es ciencia, sino maquillaje estadístico. En concreto, dice:

«...the replication package for this article does not reproduce the results reported... and revealed that the data for the variable of interest – renewable to non-renewable energy use – were corrupted.»

Esta publicación tiene un coste de APCs de 4.000 euros.

Science of the Total Environment: editor decidió mantener artículo original

Los editores consideraron que la discusión planteada en la replicación e inconsistencias detectadas eran demasiado técnicas. Optaron por dejar el artículo original con las estimaciones erróneas.

La respuesta de los autores del artículo original ante las incosistencias señalada en la replicación consistió en eliminar el 60% de la muestra utilizada en el artículo original: con esta muestra seleccionada los resultados se parecen a los publicados —aunque estos fueran incorrectos—. De los 27 países de la muestra original eliminaron 16. ¡Y el editor lo dio por bueno!

Para justificar la eliminación del 60%, los autores argumentan:

«It is reasonable to conclude that, when analyzing the impact of nuclear energy, the sample should include only those countries with nuclear energy […] Our choice to drop values ‘drop if Nuc == 0’[…] is grounded in econometric rigor. This approach yields robust estimates […]»

Cualquier estudiante de grado mínimamente formado sabe que eliminar observaciones en función del valor de una variable endógena introduce sesgos de selección.

Este artículo tiene un coste cercano a los 4.000 euros, según consta en la revista.

Environmental and Sustainability Indicators (ESI): Corrigendum

El editor —sin informar a los responsables de la réplica ni dar derecho a contra-réplica— aceptó un Corrigendum al artículo original. El editor-jefe del ESI consideró no relevante:

1. Que las estimaciones que dan lugar a la narrativa principal del artículo original son incorrectas por una incorrecta interpretación del comando de STATA.
2. Que aunque incorrectas, que las estimaciones del artículo original no se pudieron replicar.
3. Que el modelo en el corrigendum es distinto al publicado en el artículo original.
4. Que el artículo sea una "copia" (algunas tablas o párrafos iguales) del artículo en Renewable Energy, aunque el modelo sea distinto.

Inconsistencias del Corrigendum

Hemos observado que si en el corrigendum se incluían las mismas variables que el artículo original, los resultados eran difíciles de explicar con el argumento de cambios menores.

Renewable Energy: Corrigendum

El artículo publicado presenta dos problemas: las estimaciones publicadas son incorrectas y la estimación correcta de la variable de interés tiene un signo opuesto al publicado, por lo que la narrativa real es contraria a la del artículo.
A pesar de ello, se aceptó un corrigendum.