[Reliability and validity of an instrument to evaluate integral clinical competence in medical residents]

Rev Med Inst Mex Seguro Soc. Jan-Feb 2015;53(1):30-9.
[Article in Spanish]

Abstract

Background: The evaluation of clinical competence in medical residents is a complex procedure. Teachers need reliable and valid instruments to evaluate objectively the, clinical competence. The aim of this study was to determine the reliability and validity of an instrument designed to evaluate the clinical competence of medical residents.

Methods: We designed an instrument taking into consideration every part of the clinical method, and three different levels of competence were determined for each one. The instrument was examined with regards to the clarity, pertinence and sufficiency of each clinical indicator by five expert pediatricians. The instrument was finally constituted by 11 indicators. Each resident was evaluated independently by three pediatricians.

Results: A total of 651 measurements were done in 234 residents. The instrument distinguished between extreme groups, had a value of Cronbach's alpha of 0.778 and the factorial analysis set apart two factors: clinical competence and complementary competences. No statistical differences were found between evaluators neither in global evaluation or in each indicator.

Conclusions: The instrument here proposed is valid and reliable. It may be used in formative evaluation of medical residents in clinical specialization programs.

Introducción: la evaluación de la competencia clínica de un residente es un proceso complejo. Los profesores requieren de instrumentos confiables y válidos para evaluar objetivamente la competencia clínica. El objetivo fue evaluar la confiabilidad y validez de un instrumento (IECC) diseñado para evaluar la competencia clínica integral de los médicos residentes. Métodos: se diseñó un instrumento a partir de los diferentes pasos del método clínico, y se determinaron tres niveles de competencia para cada uno. El instrumento fue revisado respecto a su claridad, pertinencia y la suficiencia de sus indicadores planteados por cinco médicos pediatras expertos. Cada residente fue evaluado independientemente por tres médicos. Resultados: se obtuvieron en total 651 mediciones en 234 residentes. El instrumento discriminó entre grupos extremos. Se obtuvo un valor de alfa de Cronbach de 0.778 y el análisis factorial distinguió dos factores: competencia clínica y competencias complementarias. No se encontraron diferencias entre evaluadores en las calificaciones globales ni en cada uno de los indicadores. Conclusión: el instrumento propuesto es válido y confiable. Se propone como una herramienta más en la evaluación formativa de los médicos residentes de especialidades clínicas.

Keywords: Clinical competence; Evaluation; Medical residents.

Publication types

  • Validation Study

MeSH terms

  • Clinical Competence / standards*
  • Humans
  • Internship and Residency / standards*
  • Mexico
  • Observer Variation
  • Pediatrics / education*
  • Pediatrics / standards
  • Reproducibility of Results