Gould, E., Fraser, HS, Parker, TH et al. Mismos datos, diferentes analistas: variación en los tamaños del efecto debido a decisiones analíticas en ecología y biología evolutiva. BMC Biol 23 , 35 (2025). https://doi.org/10.1186/s12915-024-02101-x
Recopilado por Carlos Cabrera Lozada. Individuo de Número, ANM Sillón VII. ORCID: 0000-0002-3133-5183. 05/03/2025
Resumen
Aunque la variación en los tamaños del efecto y los valores predichos entre estudios de fenómenos similares es inevitable, dicha variación excede por lejos lo que podría producirse por el error de muestreo solo. Una posible explicación de la variación entre los resultados son las diferencias entre los investigadores en las decisiones que toman con respecto a los análisis estadísticos. Una serie cada vez mayor de estudios ha explorado esta variabilidad analítica en diferentes campos y ha encontrado una variabilidad sustancial entre los resultados a pesar de que los analistas tienen los mismos datos y la misma pregunta de investigación. Muchos de estos estudios han sido en las ciencias sociales, pero un pequeño estudio de «muchos analistas» encontró una variabilidad similar en ecología. Ampliamos el alcance de este trabajo previo implementando una exploración empírica a gran escala de la variación en los tamaños del efecto y las predicciones del modelo generadas por las decisiones analíticas de diferentes investigadores en ecología y biología evolutiva. Usamos dos conjuntos de datos no publicados, uno de ecología evolutiva (herrerillo común,
Cyanistes caeruleus , para comparar el número de hermanos y el crecimiento de los polluelos) y uno de ecología de la conservación (
Eucalyptus , para comparar la cobertura de pasto y el reclutamiento de plántulas de árboles). Los líderes del proyecto reclutaron 174 equipos de analistas, que comprendían 246 analistas, para investigar las respuestas a preguntas de investigación preespecificadas. Los análisis realizados por estos equipos produjeron 141 efectos utilizables (compatibles con nuestros metanálisis y con toda la información necesaria proporcionada) para el conjunto de datos del herrerillo común y 85 efectos utilizables para el conjunto de datos
del eucalipto . Encontramos una heterogeneidad sustancial entre los resultados de ambos conjuntos de datos, aunque los patrones de variación diferían entre ellos. Para los análisis del herrerillo común, el efecto promedio fue convincentemente negativo, con un menor crecimiento para los polluelos que vivían con más hermanos, pero hubo una variación casi continua en el tamaño del efecto desde grandes efectos negativos hasta efectos cercanos a cero, e incluso efectos que cruzaron el umbral tradicional de significación estadística en la dirección opuesta. En contraste, la relación promedio entre la cobertura de pasto y el número de plántulas
de eucalipto fue solo ligeramente negativa y no convincentemente diferente de cero, y la mayoría de los efectos variaron de débilmente negativos a débilmente positivos, con aproximadamente un tercio de los efectos cruzando el umbral tradicional de significación en una dirección u otra. Sin embargo, también hubo varios casos atípicos sorprendentes en el
eucalipto.conjunto de datos, con efectos muy alejados de cero. Para ambos conjuntos de datos, encontramos una variación sustancial en la selección de variables y las estructuras de efectos aleatorios entre los análisis, así como en las calificaciones de los métodos analíticos por parte de los revisores pares, pero no encontramos una relación sólida entre ninguno de estos y la desviación de la media metaanalítica. En otras palabras, los análisis con resultados que estaban lejos de la media no tenían más o menos probabilidades de tener conjuntos de variables disímiles, usar efectos aleatorios en sus modelos o recibir malas revisiones por pares que aquellos análisis que encontraron resultados cercanos a la media. La existencia de una variabilidad sustancial entre los resultados de los análisis plantea preguntas importantes sobre cómo los ecólogos y los biólogos evolutivos deberían interpretar los resultados publicados y cómo deberían realizar análisis en el futuro.