Accuracy of an automated system for tuberculosis detection on chest radiographs in high-risk screening

Int J Tuberc Lung Dis. 2018 May 1;22(5):567-571. doi: 10.5588/ijtld.17.0492.

Abstract

Setting: Tuberculosis (TB) screening programmes can be optimised by reducing the number of chest radiographs (CXRs) requiring interpretation by human experts.

Objective: To evaluate the performance of computerised detection software in triaging CXRs in a high-throughput digital mobile TB screening programme.

Design: A retrospective evaluation of the software was performed on a database of 38 961 postero-anterior CXRs from unique individuals seen between 2005 and 2010, 87 of whom were diagnosed with TB. The software generated a TB likelihood score for each CXR. This score was compared with a reference standard for notified active pulmonary TB using receiver operating characteristic (ROC) curve and localisation ROC (LROC) curve analyses.

Results: On ROC curve analysis, software specificity was 55.71% (95%CI 55.21-56.20) and negative predictive value was 99.98% (95%CI 99.95-99.99), at a sensitivity of 95%. The area under the ROC curve was 0.90 (95%CI 0.86-0.93). Results of the LROC curve analysis were similar.

Conclusion: The software could identify more than half of the normal images in a TB screening setting while maintaining high sensitivity, and may therefore be used for triage.

CONTEXTE:: Les programmes de dépistage de la tuberculose (TB) peuvent être optimisés en diminuant le nombre de radiographies pulmonaires (CXR) qui requièrent une interprétation par des experts.

OBJECTIF:: Evaluer la performance de logiciels de détection numérique pour le tri des CXR au sein d'un programme de dépistage de TB mobile numérique à haut débit.

SCHÉMA:: Une évaluation rétrospective du logiciel a été réalisée sur une base de données de 38 961 CXR de face réalisées entre 2005 et 2010 chez des patients dont 87 ont eu un diagnostic de TB. Le logiciel a généré un score de probabilité de TB pour chaque CXR. Ce score a été comparé à une norme de référence de TB pulmonaire active déclarée par analyse de courbe de la fonction d'efficacité du récepteur (ROC) et de localisation ROC (LROC).

RÉSULTATS:: Aprés analyse ROC, è une sensibilité de 95%, la spécificité a été de 55,71% (IC95% 55,21–56,20) et la valeur prédictive négative a été de 99,98% (IC95% 99,95–99,99). La zone sous la courbe ROC a été de 0,90 (IC95% 0,86–0,93). Les résultats après analyse LROC ont été similaires.

CONCLUSION:: Le logiciel peut identifier plus de la moitié des images normales dans un contexte de dépistage de la TB, tout en préservant la sensibilité élevée, et pourrait donc être utilisé pour le triage.

MARCO DE REFERENCIA:: Los programas de cribado de la tuberculosis (TB) se optimizan cuando se reduce el número de las radiografías de tórax (CXR) que exigen una interpretación por personas expertas.

OBJETIVO:: Evaluar la eficacia de un programa informético de detección que clasifique las CXR, en el marco de un programa de cribado de la TB informético ultrarrépido y portétil.

MÉTODO:: Se evaluó de manera retrospectiva el programa informético a partir de una base de datos de 38 961 CXR posteroanteriores realizadas del 2005 al 2010 en pacientes únicos, de los cuales en 87 se diagnosticó TB. El programa generaba una puntuacióon de probabilidad de TB en cada CXR. Esta puntuación se comparó con una norma de referencia de la TB pulmonar activa notificada, mediante un anélisis de rendimiento diagnóstico de la característica operativa del receptor (ROC) y un anélisis ROC de localización (LROC).

RESULTADOS:: Tras el anélisis ROC, con una sensibilidad de 95%, la especificidad fue 55,71% (IC95% 55,21–56,20) y el valor diagnóstico de un resultado negativo fue 99,98% (IC95% 99,95–99,99). El área bajo la curva de rendimiento diagnóstico fue 0,90 (IC95% 0,86–0,93). Los resultados del anélisis LROC fueron equivalentes.

CONCLUSIÓN:: El programa informético puede detectar més de la mitad de las CXR normales en el contexto del cribado de la TB y al mismo tiempo conserva una alta sensibilidad, por lo cual se puede utilizar en la selección radiogréfica.

Publication types

  • Research Support, Non-U.S. Gov't

MeSH terms

  • Automation
  • Databases, Factual
  • Humans
  • Mass Screening / methods*
  • Netherlands
  • ROC Curve
  • Radiography, Thoracic / standards*
  • Retrospective Studies
  • Sensitivity and Specificity
  • Software
  • Tuberculosis, Pulmonary / diagnostic imaging*