Involving street youth in peer harm reduction education. The challenges of evaluation

Can J Public Health. 2002 Sep-Oct;93(5):344-8. doi: 10.1007/BF03404566.

Abstract

Objectives: To describe and discuss the challenges in evaluation of a participatory action research with street-involved youth.

Methods: A combination of quantitative and qualitative methods were utilized for both process and outcome evaluations. Process evaluation methods included in-depth individual interviews, focus groups, participant observation, and session debriefing forms. Summative evaluation research included focus testing of the harm reduction video and a survey of video users.

Findings: Members of the youth team reported favourably on the experience, citing friendship, skills development, fun, and pride of accomplishment among the key benefits of participation. Political tensions arose because of the focus on reducing harm from drug use rather than encouraging abstension. The heavy demands of participatory research and development, resource constraints and the priority given to product development in these kinds of projects necessarily precludes extensive youth participation in the design, implementation and analysis of additional evaluation research. Even when resources are directed towards evaluation, there is a tendency to focus on data collection, which may limit time and resources for data analysis. Finally, there is an inclination to focus on the product development rather than dissemination and impact of the product.

Interpretation: Despite the challenges inherent in participatory action research and its evaluation, this project was regarded as an empowering experience by the street youth who participated in it. It is worthwhile to direct resources to evaluation which optimally gives proportional attention to data collection as well as data analysis, and focusses not only on product development but also on its dissemination and impact.

Objectifs: Décrire et expliquer les défis de l’évaluation d’un projet de recherche active auprès de jeunes de la rue.

Méthode: Nous avons combiné des méthodes quantitatives et qualitatives pour évaluer tant le processus que les résultats du projet. Pour l’évaluation du processus, nous avons utilisé des entrevues individuelles approfondies, des groupes de discussion, l’observation des participants et des questionnaires récapitulatifs après les séances. Pour l’évaluation sommative, nous avons fait visionner à des groupes cibles une vidéocassette traitant de réduction des méfaits en sollicitant leurs commentaires.

Constatations: Les jeunes ont dit avoir apprécié l’expérience, qui leur a permis entre autres de se faire des amis, d’acquérir des compétences tout en s’amusant et de retirer une certaine fierté de leurs accomplissements. Des tensions politiques se sont manifestées lorsque les jeunes de la rue se sont concentrés sur la réduction des méfaits de la consommation de drogues plutôt que sur l’abstention. En recherche active, il est souvent difficile de doser le temps et les ressources consacrés au projet proprement dit et à son évaluation. Même lorsqu’on dispose de ressources d’évaluation, on a tendance à mettre l’accent sur la collecte des données en négligeant leur analyse. On tend aussi à s’attacher à l’élaboration du produit plutôt qu’à sa diffusion et à l’analyse de ses effets.

Interprétation: Malgré les défis inhérents à la recherche active et à son évaluation, les jeunes qui ont participé au projet considèrent qu’il leur a permis de renforcer leur autonomie. Il vaut la peine de consacrer des ressources à l’évaluation, car cela incite à se pencher autant sur la collecte des données que sur leur analyse et à ne pas en rester à l’élaboration d’un produit, mais à travailler à sa diffusion et à l’analyse de ses effets.

Publication types

  • Evaluation Study
  • Research Support, Non-U.S. Gov't

MeSH terms

  • Adolescent
  • Community Participation*
  • Focus Groups
  • Health Education / methods*
  • Health Planning
  • Homeless Youth / education*
  • Humans
  • Peer Group*
  • Persuasive Communication
  • Power, Psychological
  • Program Evaluation*
  • Public Health
  • Substance-Related Disorders / prevention & control*