Assessing the quality of data aggregated by antiretroviral treatment clinics in Malawi

Bull World Health Organ. 2008 Apr;86(4):310-4. doi: 10.2471/blt.07.044685.

Abstract

Problem: As national antiretroviral treatment (ART) programmes scale-up, it is essential that information is complete, timely and accurate for site monitoring and national planning. The accuracy and completeness of reports independently compiled by ART facilities, however, is often not known.

Approach: This study assessed the quality of quarterly aggregate summary data for April to June 2006 compiled and reported by ART facilities ("site report") as compared to the "gold standard" facility summary data compiled independently by the Ministry of Health supervision team ("supervision report"). Completeness and accuracy of key case registration and outcome variables were compared. Data were considered inaccurate if variables from the site reports were missing or differed by more than 5% from the supervision reports. Additionally, we compared the national summaries obtained from the two data sources.

Local setting: Monitoring and evaluation of Malawi's national ART programme is based on WHO's recommended tools for ART monitoring. It includes one master card for each ART patient and one patient register at each ART facility. Each quarter, sites complete cumulative cohort analyses and teams from the Ministry of Health conduct supervisory visits to all public sector ART sites to ensure the quality of reported data.

Relevant changes: Most sites had complete case registration and outcome data; however many sites did not report accurate data for several critical data fields, including reason for starting, outcome and regimen. The national summary using the site reports resulted in a 12% undercount in the national total number of persons on first-line treatment. Several facility-level characteristics were associated with data quality.

Lessons learned: While many sites are able to generate complete data summaries, the accuracy of facility reports is not yet adequate for national monitoring. The Ministry of Health and its partners should continue to identify and support interventions such as supportive supervision to build sites' capacity to maintain and compile quality data to ensure that accurate information is available for site monitoring and national planning.

Problématique: Les programmes nationaux de traitement antirétroviral (ART) étant en phase d’élargissement, il est essentiel de disposer en temps utile d’informations complètes et exactes pour la surveillance des sites et la planification nationale. On ne sait souvent pas si les rapports compilés indépendamment par les établissements dispensant des traitements ART sont complets et exacts.

Démarche: Les auteurs de cette étude ont évalué la qualité des données résumées et agrégées par trimestre pour la période avril-juin 2006 provenant des rapports des établissements dispensant des traitements ART (« rapports de site ») par comparaison avec celle des données résumées de référence, compilées indépendamment pour ces établissements par l’équipe de supervision du Ministère de la santé (« rapport de supervision »). Ils ont également comparé la complétude et l’exactitude des principaux paramètres d’enregistrement des cas et d’issue du traitement. Les données ont été considérées comme inexactes s’il manquait des paramètres dans les rapports des sites ou si les valeurs des paramètres différaient de plus de 5% des valeurs indiquées par les rapports de supervision. En outre, les auteurs ont comparé les résumés nationaux établis à partir de deux sources de données.

Contexte local: La surveillance et l’évaluation du programme national de traitement ART du Malawi s’appuient sur les outils recommandés par l’OMS pour la surveillance ART. Elles prévoient une carte informatisée pour chaque patient sous traitement ART et un registre des patients pour chaque établissement dispensant ce type de traitement. Chaque trimestre, les sites réalisent des analyses de cohortes cumulatives et des équipes du Ministère de la santé effectuent des visites de supervision dans tous les sites ART du secteur public pour s’assurer de la qualité des données rapportées.

Modifications pertinentes: La plupart des sites disposent de données complètes pour l’enregistrement des cas et les issues du traitement ; néanmoins, nombre d’entre eux ne fournissent pas des données exactes sur plusieurs points critiques, et notamment les raisons du placement sous traitement, l’issue du traitement et le schéma thérapeutique. Le résumé national à partir des rapports des sites a fait apparaître une sous-comptabilisation de 12% du nombre total de personnes dans le pays sous traitement de première intention. Plusieurs caractéristiques au niveau des établissements sont associées à la qualité des données.

Enseignements tirés: Si de nombreux sites sont en mesure de générer des résumés de données complets, leurs rapports ne sont pas encore suffisamment exacts pour la surveillance nationale. Le Ministère de la santé et ses partenaires doivent continuer à définir et à appuyer des interventions comme la supervision de soutien afin de renforcer la capacité des sites à conserver et à compiler des données de qualité et de garantir ainsi la disponibilité d’informations exactes pour la surveillance des sites et la planification nationale.

Problema: A medida que se expanden los programas nacionales de tratamiento antirretroviral (TAR), es fundamental contar con información completa, puntual y exacta para la vigilancia de los centros y la planificación nacional. Sin embargo, a menudo se desconoce la exactitud e integridad de los datos reunidos independientemente por los centros de TAR.

Enfoque: Se evaluó la calidad de los datos agregados trimestrales que habían compilado y notificado los centros de TAR para el periodo de abril a junio de 2006 («informe del centro»), comparándolos con los datos resumidos «de referencia» reunidos independientemente por el equipo de supervisón del Ministerio de Salud («informe de supervisión»). Se compararon la integridad y exactitud de variables clave del registro de casos y de los resultados, y se decidió considerar inexactos los datos de los informes de los centros cuando las variables analizadas no constasen o difiriesen en más de un 5% de las consignadas en los informes de supervisión. Procedimos asimismo a comparar las cifras recapitulativas nacionales obtenidas a partir de esas dos fuentes de datos.

Contexto local: La vigilancia y evaluación del programa nacional de TAR de Malawi está basada en los instrumentos recomendados por la OMS para la vigilancia del TAR. Ello incluye una ficha maestra para cada paciente sometido a TAR y un registro por paciente en cada centro de TAR. Cada trimestre, los centros realizan análisis de cohortes acumulativos y equipos del Ministerio de Salud realizan visitas de supervisión a todos los centros de TAR del sector público para verificar la calidad de los datos notificados.

Cambios destacables: La mayoría de los centros disponían de datos completos en lo relativo al registro de casos y los resultados; sin embargo, muchos centros no aportaron datos precisos en varios campos cruciales, como la razón para comenzar el tratamiento, los resultados y el régimen. El resumen nacional basado en los informes de los centros subestimó en un 12% el total nacional de personas bajo tratamiento de primera línea. La calidad de los datos estaba relacionada con diversas características de los centros.

Enseñanzas extraídas: Si bien muchos de los centros pueden generar datos recapitulativos completos, los informes de los centros aún no tienen la exactitud exigible para la vigilancia nacional. El Ministerio de Salud y sus asociados deberían seguir identificando y apoyando intervenciones tales como la supervisión de apoyo a fin de desarrollar la capacidad de los centros para mantener y reunir datos de calidad de modo que pueda disponerse de información precisa para la vigilancia de los centros y la planificación nacional.

المشكلة: في إطار النەوض بالبرامج الوطنية لمعالجة المصابين بالفيروسات القەقرية لابد من أن تكون المعطيات مستكملة ودقيقة وتعبر عن الوقت الملائم لموقع الرصد والتخطيط على الصعيد الوطني. وكثيراً ما يتعذر معرفة دقة ومدى كمال التقارير التي تجمعەا مرافق معالجة الفيروسات القەقرية بشكل منفرد.

الأسلوب: يقيِّم الباحثون في ەذە الدراسة جودة المعطيات الملخصة والمجمعة خلال ثلاثة شەور ەي نيسان/أبريل وأيار/مايو وحزيران/يونيو، والتي تبلغ عنەا مرافق معالجة الفيروسات القەقرية (تقارير ميدانية) ومقارنتەا بالمعايـير الذەبية للمعطيات الملخصة التي جمعتەا المرافق بشكل مستقل من قِبَل فريق الإشراف من وزارة الصحة (تقرير الإشراف). وأُخْضِعَت للمقارنة مدى دقة واكتمال السجلات الرئيسية للحالات والمتغيرات الخاصة بالنتائج، وقد اعتبرت المعطيات غير صحيحة إذا لم تكن المتغيرات متوافرة أو كانت مختلفة بمقدار يزيد على 5% من تقارير الإشراف، ثم قارن الباحثون الملخصات الوطنية التي حصلوا عليەا من مصدرين من مصادر المعطيات.

الموقع المحلي: يرتكز رصد وتقيـيم البرنامج الوطني لمعالجة المصابين بالفيروسات القەقرية في ملاوي على أداة توصي باستخدامەا منظمة الصحة العالمية لرصد تلك المعالجة،تتضمن بطاقة رئيسية لكل مريض يتلقَّى المعالجة للفيروسات القەقرية وسجلاً آخر للمريض في كل مرفق للمعالجة من الفيروسات القەقرية. وكل ثلاثة شەور تستكمل المواقع التحليل التراكمي للأتراب، وتجري أفرقة من وزارة الصحة زيارات إشرافية على مواقع المعالجة من الفيروسات القەقرية التابعة للقطاع العام للتأكُّد من جودة المعطيات المبلَّغ عنەا.

التغيرات: لقد استكملت معظم المواقع تسجيل البطاقات والمعطيات الخاصة بالنتائج، إلا أن الكثير منەا لم يبلغ عن المعطيات الدقيقة لعدد من الحقول البالغة الأەمية في المعطيات والتي تشمل سبب البدء، والنتيجة، ونظام المعالجة. وقد أدَّى استخدام الخلاصة الوطنية للتقارير الميدانية إلى نقص حسابي مقدارە 12% في العدد الوطني الإجمالي للأشخاص الذين يعالجون بأدوية الخط الأول، وەناك علاقة بين العديد من خصائص مستوى المرفق وجودة المعطيات.

الدروس المستفادة: رغم أن باستطاعة العديد من المواقع الحصول على خلاصات كاملة حول المعطيات فإن دقة التقارير الصادرة عن المرافق غير كافية للرصد الوطني. وينبغي على وزارة الصحة وعلى شركائەا مواصلة العمل للتعرُّف على الـمُداخلات من قبيل الإشراف الداعم بغية بناء القدرات في المواقع للاستمرار في جمع المعطيات الرفيعة الجودة وتقديم الدعم لتلك الـمُداخلات لضمان توافر المعلومات الدقيقة للرصد الميداني والتخطيط الوطني.

Publication types

  • Research Support, Non-U.S. Gov't

MeSH terms

  • Anti-Retroviral Agents / administration & dosage*
  • Data Collection / standards*
  • HIV Infections / drug therapy
  • HIV Infections / epidemiology
  • Humans
  • Malawi / epidemiology
  • Medical Records / standards*
  • Research Design

Substances

  • Anti-Retroviral Agents