Background: Reliability and validity of measurements are important for the interpretation and generalisation of research findings. Valid, reliable and comparable measures of health status of individuals are critical components of the evidence base for health policy. The need for sound information is especially urgent in the case of emerging diseases and other acute health threats, where rapid awareness, investigation and response can save lives and prevent broader national outbreaks and even global pandemics.
Methods: Ten percent of all households visited by CHWs for data collection in different sites (rural and peri-urban) were systematically selected and visited a second time by technically trained research team members. The test-retest method was applied to establish reliability. The Kappa score was used to measure reliability, while sensitivity, specificity, and positive predictive values were used to measure validity.
Results: Inter-observer agreement between the two sets of data in both sites was good; most indicators measured slight agreement. However, some indicators demonstrated greater discrepancies between the two data sets (e.g. measles immunization). Specificity measures were more stable in Butere (rural), which had more than 90% in all the indicators tested, compared to Nyalenda (peri-urban), which fluctuated between 50% and 90%. There were variable reliability results in the peri-urban site for the indicators measured, while the rural site presented more stable results. This is also depicted in the validity measures in both sites.
Conclusions: The paper concludes that there are convincing results that CHWs can accurately and reliably collect certain types of community data which has cost-saving implications, especially for resource poor settings.
Contexte: La validité et la fiabilité des mesures sont importantes pour l’interprétation et la généralisation des résultats de recherche. Des mesures valables, fiables et comparables de l’état de santé des individus sont une partie importante de la base de données probantes pour les politiques en matière de santé. Le besoin d’information fiable est particulièrement criant dans le cas des maladies émergentes et d’autres risques sanitaires graves, où une prise de conscience, une enquête et une intervention rapides peuvent sauver des vies et prévenir les épidémies nationales et même des pandémies mondiales.
Plusieurs interventions en santé réussies ont comporté un déploiement d’agents de santé communautaire (ASC) dans les collectivités; la stratégie en santé communautaire est l’une de ces interventions. Le gouvernement du Kenya, par le truchement du ministère de la Santé publique et de la Salubrité, a mis en oeuvre cette stratégie dans le but d’améliorer les soins de santé pour les ménages. Pour ce faire, il est nécessaire que les ASC recueillent des données sur l’état de santé des ménages, qui sont alors présentées dans le cadre de rencontres communautaires où l’on discute des résultats, détermine des champs d’action et planifie des actions afin d’améliorer leur état de santé.
Méthodes: Dix pour cent de tous les ménages visités par les ASC pour la cueillette de données dans différents milieux (ruraux et périurbains) ont été systématiquement rencontrés une deuxième fois par des membres de l’équipe de recherche ayant reçu une formation technique. La méthode du test-retest a été appliquée pour établir la fiabilité. L’indice Kappa a été utilisé pour mesurer la fiabilité, alors que la sensibilité, la précision et la valeur prédictive positive ont été calculées pour mesurer la validité.
Résultats: L’accord entre les données des deux ensembles d’observateurs dans les deux milieux était bon, la plupart des indicateurs possédaient un accord faible. Toutefois, certains indicateurs montraient de plus grands écarts entre les deux ensembles de données (p. ex., la vaccination contre la rougeole). Les mesures de spécificité étaient plus stables dans le district de Butere (milieu rural) qui a obtenu plus de 90 % dans tous les indicateurs testés, comparativement à Nyalenda (périurbain) où les résultats fluctuaient de 50 % à 90 %. Les résultats concernant la fiabilité étaient variables dans les milieux périurbains pour les indicateurs mesurés, alors que les milieux ruraux présentaient des résultats plus stables. Le même phénomène est présent pour les mesures de validité dans les deux milieux.
Conclusions: En conclusion, les résultats montrent que les ASC peuvent recueillir certains types de données communautaires de façon exacte et fiable, ce qui permet de réduire les coûts, particulièrement dans les milieux où les ressources se font rares.