Concordance between two instruments for health literacy assessment

Epidemiol Serv Saude. 2021;30(2):e2020490. doi: 10.1590/S1679-49742021000200004.
[Article in English, Portuguese]

Abstract

Objetivo: To determine agreement between the Short Test of Functional Health Literacy in Adults (S-TOFHLA) and the Short Assessment of Health Literacy for Portuguese-speaking Adults (SAHLPA-18) measurement instruments as a strategy for estimating concurrent validity.

Methods: This was a cross-sectional study conducted with users of the Brazilian National Health System. An agreement approach using a weighted Kappa test for qualitative data was applied in order to test for concurrent validity.

Results: 372 individuals participated. It was found that 66% and 62% of them did not have an adequate level of literacy according to SAHLPA-18 and S-TOFHLA, respectively. There was strong correlation between the instruments (p<0.001; r=0.60), although the 65.3% agreement of correct answers found was considered weak (Kappa=0.35; p<0.001).

Conclusion: The SAHLPA-18 and S-TOFHLA instruments have different constructs and poor agreement. Use of different instruments is indicated in research intended to measure level of literacy, as is the development of instruments specific to health conditions that allow results close to the real context of individuals to be obtained.

Objetivo: Determinar a concordância entre os instrumentos de mensuração short test of functional health literacy in adults (S-TOFHLA) e short assessment of health literacy for Portuguese-speaking adults (SAHLPA-18) como estratégia para estimar a validade concorrente.

Métodos: Estudo transversal, com usuários do Sistema Único de Saúde. Para testar a validade concorrente, aplicou-se abordagem de concordância com teste de Kappa ponderado para dados qualitativos.

Resultados: Participaram 372 indivíduos, dos quais 66% e 62% não apresentaram nível de letramento adequado, segundo o SAHLPA-18 e o S-TOFHLA, respectivamente. Observou-se correlação forte entre os instrumentos (p<0,001; r=0,60); e a concordância de acertos encontrada, 65,3% (Kappa=0,35; p<0,001), foi considerada fraca.

Conclusão: Os instrumentos SAHLPA-18 e S-TOFHLA apresentam constructos diferentes e fraca concordância. É indicado o uso de diferentes instrumentos em pesquisas de mensuração do nível de letramento; e desenvolvimento de instrumentos específicos às condições de saúde que permitam obter resultado próximo ao real contexto dos indivíduos.

Objetivo: Determinar la concordancia entre instrumentos de medición psicométrica short test of functional health literacy in adults (S-TOFHLA) y short assessment of health literacy for portuguese-speaking adults (SAHLPA-18) como estrategia para estimar la validez concurrente.

Métodos: estudio transversal realizado con usuarios del Sistema Único de Salud. Para testear la validez concurrente se aplicó un enfoque de concordancia con una prueba ponderada de Kappa para datos cualitativos.

Resultados: participaron 372 individuos. Se encontró que 66% y 62% de estos no tenía un nivel adecuado de letramiento según SAHLPA-18 y S-TOFHLA, respectivamente. Hubo una fuerte correlación entre los instrumentos (p<0.001; r=0.60), sin embargo 65.3% de concordancia, se consideró débil (Kappa=0.35; p<0.001).

Conclusión: Los instrumentos SAHLPA-18 y S-TOFHLA tienen diferentes construcciones y escasa concordancia. En la investigación se indica el uso de diferentes instrumentos para medir el nivel de letramiento y el desarrollo de instrumentos específicos a las condiciones de salud que permitan obtener resultados cercanos al contexto real de los individuos.

Publication types

  • Research Support, Non-U.S. Gov't

MeSH terms

  • Adult
  • Brazil
  • Cross-Sectional Studies
  • Data Accuracy
  • Health Literacy*
  • Humans
  • Reproducibility of Results