[Clinical significance vs statistical significance. How to interpret the confidence interval at 95]

Rev Alerg Mex. 2017 Oct-Dec;64(4):477-486. doi: 10.29262/ram.v64i4.334.
[Article in Spanish]

Abstract

The validity of a study depends on its proper planning, execution and analysis. If these are sufficiently correct, the decision to apply the recommendations issued depends on the expected clinical effect. This effect may have random variations, hence the need to use statistical inference. For years the p-value has been used to determine this statistical significance and the confidence intervals to measure the magnitude of the effect. In this review we present a proposal of how to interpret the 95 % confidence intervals (CI 95 %) as estimators of the expected effect variability based on considering the threshold or value of clinical significance and the null value of the difference or rejection of statistical significance. Thus, an association or effect where the CI 95 % includes the null value (no effect or difference) is interpreted as inconclusive; one between the null value and the clinical threshold (without including them) as possibly inconsequential; one that does not include the null value but the clinical threshold as yet not conclusive and one beyond the clinical threshold as conclusive.

La validez de un estudio depende de su adecuada planeación, ejecución y análisis. Si estas son suficientemente correctas, la decisión de aplicar las recomendaciones emitidas depende del efecto clínico esperado. Este efecto puede tener variaciones aleatorias, de ahí la necesidad de usar la inferencia estadística. Durante años se ha usado el valor de p para determinar esta significancia estadística y los intervalos de confianza para medir la magnitud del efecto. En esta revisión se presenta una propuesta de cómo interpretar los intervalos de confianza a 95 % (IC 95 %) como estimadores de la variabilidad del efecto esperado, con base en considerar el umbral o valor de significancia clínica y el valor nulo de diferencia o rechazo de significancia estadística. Con ello, una asociación en la cual el IC 95 % incluye el valor nulo (no efecto o diferencia) es interpretado como no concluyente; uno entre el valor nulo y el umbral clínico (sin incluirlos) como posiblemente intrascendente; uno que no incluye al valor nulo, pero sí al umbral clínico como aún no contundente y uno más allá del umbral clínico como contundente.

Keywords: Clinical decision; Confidence interval 95 %; P-value.

Publication types

  • Comparative Study

MeSH terms

  • Confidence Intervals*
  • Data Interpretation, Statistical
  • Humans