Arbitrary modeling choices are inevitable in scientific studies. Yet, few empirical studies in conservation science report the effects these arbitrary choices have on estimated results. I explored the effects of subjective modeling choices in the context of counterfactual impact evaluations. Over 5000 candidate models based on reasonable changes in the choice of statistical matching algorithms (e.g., genetic and nearest distance mahalanobis matching), the parametrization of these algorithms (e.g., number of matches), and the inclusion of specific covariates (e.g., distance to nearest city, slope, or rainfall) were valid for studying the effect of Virunga National Park in Democratic Republic of the Congo on changes in tree cover loss and carbon storage over time. I randomly picked 2000 of the 5000 candidate models to determine how much and which subjective modeling choices affected the results the most. All valid models indicated that tree cover loss decreased and carbon storage increased in Virunga National Park from 2000 to 2019. Nonetheless, the order of magnitude of the estimates varied by a factor of 3 (from -4.78 to -13.12 percentage points decrease in tree cover loss and from 20 to 46 t Ce/ha for carbon storage). My results highlight that modeling choices, notably the choice of the matching algorithm, can have significant effects on point estimates and suggest that more structured robustness checks are a key step toward more credible findings in conservation science.
Selecciones Subjetivas de Modelos y la Contundencia de las Evaluaciones de Impacto en las Ciencias de la Conservación Resumen Las selecciones arbitrarias de modelos son inevitables en los estudios científicos. Sin embargo, pocos estudios empíricos en las ciencias de la conservación reportan los efectos de estas selecciones arbitrarias sobre los resultados estimados. Exploré los efectos de las selecciones subjetivas de modelos en el contexto de las evaluaciones de impacto contrafactuales. Más de 5000 modelos candidatos basados en cambios razonables en la elección de los algoritmos de emparejamiento estadístico (p. ej.: emparejamiento genético y de distancia más cercana mahalanobis), la parametrización de estos algoritmos (p. ej.: número de parejas) y la inclusión de covariados específicos (p. ej.: distancia a la ciudad más cercana, inclinación, precipitación) fueron válidos para estudiar el efecto del Parque Nacional Virunga en la República Democrática del Congo sobre la pérdida de cobertura arbórea y el almacenamiento de carbono a través del tiempo. Escogí al azar 2000 de los 5000 modelos candidatos para determinar cuántos y cuáles selecciones subjetivas de los modelos afectaron más al resultado. Todos los modelos válidos indicaron que la pérdida de la cobertura arbórea disminuyó y el almacenamiento de carbono incrementó en el Parque Nacional Virunga desde entre el año 2000 y el 2019. No obstante, el orden de magnitud de las estimaciones varió con un factor de 3 (una disminución de -4.78 hasta -13.12 puntos porcentuales en la pérdida de la cobertura arbórea y de 20 hasta 46 t Ce/ha para el almacenamiento de carbono). Mis resultados resaltan que la selección de los modelos, notablemente la elección del algoritmo de emparejamiento, puede tener efectos significativos sobre las estimaciones de puntos y sugieren que las revisiones más estructuradas de la contundencia son un paso importante hacia descubrimientos más creíbles en las ciencias de la conservación.
在科学研究中随意选择模型的现象是难以避免的。然而, 保护科学的实证研究很少会报道这些随意的选择对结果估计的影响。本研究在反事实影响评估的背景下探讨了主观模型选择的影响。研究者基于统计匹配算法的选择(如遗传和最近马氏距离匹配)、这些算法的参数化(如匹配的数量), 以及对特定协变量(如最近城市距离, 坡度, 降雨)的纳入情况的合理改变, 设计了超过 5000 个候选模型, 来有效地研究刚果民主共和国维龙加国家公园的建立对树木覆盖丧失和碳储量随时间变化的影响。研究者从 5000 个候选模型中随机挑选了 2000 个模型, 以确定哪种主观模型选择对结果的影响最大。所有有效模型均表明, 2000-2019 年间维龙加国家公园树木覆盖丧失减少, 碳储量增加。尽管如此, 估计值还是相差了三倍之多(树木覆盖丧失的减少值为-4.78% 到-13.12%, 碳储量为 20 到 46 吨标准煤每公顷)。本研究结果强调了模型选择, 特别是匹配算法的选择, 会对点估计产生重大影响, 因此保护科学中更结构化的稳健性检验对于获得可信结果至关重要。【翻译:胡怡思;审校:聂永刚】.
Keywords: Democratic Republic of Congo; República Democrática del Congo; almacenamiento de carbono; carbon storage; crisis de reproducibilidad; emparejamiento; matching; methods; métodos; protected areas; prácticas de investigación; pérdida de la cobertura arbórea; reproducibility crisis; research practices; transparencia; transparency; tree cover loss; áreas protegidas; 研究实践, 再现性危机, 透明度, 方法, 匹配, 保护地, 树木覆盖丧失, 碳储量, 刚果民主共和国.
© 2021 Society for Conservation Biology.