It can be dangerous to take epidemic curves of COVID-19 at face value

Can J Public Health. 2020 Jun;111(3):397-400. doi: 10.17269/s41997-020-00367-6. Epub 2020 Jun 23.

Abstract

During an epidemic with a new virus, we depend on modelling to plan the response: but how good are the data? The aim of our work was to better understand the impact of misclassification errors in identification of true cases of COVID-19 on epidemic curves. Data originated from Alberta, Canada (available on 28 May 2020). There is presently no information of sensitivity (Sn) and specificity (Sp) of laboratory tests used in Canada for the causal agent for COVID-19. Therefore, we examined best attainable performance in other jurisdictions and similar viruses. This suggested perfect Sp and Sn 60-95%. We used these values to re-calculate epidemic curves to visualize the potential bias due to imperfect testing. If the sensitivity improved, the observed and adjusted epidemic curves likely fall within 95% confidence intervals of the observed counts. However, bias in shape and peak of the epidemic curves can be pronounced, if sensitivity either degrades or remains poor in the 60-70% range. These issues are minor early in the epidemic, but hundreds of undiagnosed cases are likely later on. It is therefore hazardous to judge progress of the epidemic based on observed epidemic curves unless quality of testing is better understood.

Au cours d’une épidémie causée par un nouveau virus nous dépendons de la modélisation pour établir un plan de gestion de la situation : mais les données sont-elles de bonne qualité? Le but de ce travail était de mieux comprendre l’impact que les erreurs de classement du virus COVID-19 ont sur les courbes qui décrivent l’épidémie. Les données proviennent de l’Alberta, au Canada (datées du 28 mai, 2020). Il n’y a actuellement pas d’information sur la sensibilité (Sn) et sur la spécificité (Sp) des tests de dépistage de la COVID-19 utilisés en laboratoire au Canada. De ce fait, nous avons examiné la performance optimale observée dans d’autres juridictions et pour d’autres virus semblables. Ceci a mené à une spécificité parfaite et une sensibilité de 60-95%. Nous avons donc utilisé ces valeurs pour refaire le calcul des courbes épidémiques afin de visualiser les risques potentiels de biais dus au testage moins que parfait. Si la sensibilité s’améliore, les courbes épidémiques ajustées et celles observées seront probablement incluses dans les intervalles de confiance (95%) entourant le nombre observé de cas. Néanmoins, la forme et le sommet des courbes épidémiques peuvent être biaisées de façon considérable si la sensibilité se dégrade ou si elle se tient aux alentours de 60-70%. Ce problème n’est pas un problème majeur au tout début d’une épidémie mais peut le devenir après un certain temps. Il est donc risqué de porter jugement sur le progrès de la propagation du virus en se fiant sur les courbes épidémiques à moins que la qualité et la fiabilité des méthodes de dépistage soient bien connues.

Keywords: Epidemic; Misclassification; Probabilistic bias analysis; SARS-CoV-2.

Publication types

  • Research Support, N.I.H., Extramural

MeSH terms

  • Bias
  • COVID-19
  • COVID-19 Testing
  • Canada / epidemiology
  • Clinical Laboratory Techniques / standards*
  • Coronavirus Infections / diagnosis*
  • Coronavirus Infections / epidemiology*
  • Epidemics*
  • Humans
  • Pandemics
  • Pneumonia, Viral / diagnosis*
  • Pneumonia, Viral / epidemiology*
  • Probability
  • Sensitivity and Specificity