Background: Mixing survey administration modes has generated concern about the comparability of responses between modes.
Objective: To explore the differences in respondent profiles, and responses between Internet and telephone questionnaires in a survey on respiratory diseases.
Methods: The data were generated from a mixed Internet and telephone survey of respiratory diseases among children in Montreal (Quebec), in 2006. Comparison of 12 selected questions was performed after standardization for respondent education and income. Stratification of analysis on education and income categories was also performed for the questions with significantly divergent responses.
Results: Six questions showed significant differences in responses between modes after standardization. The largest differences among the closed-ended questions were observed for highly prevalent symptoms, dry cough during the night (difference of 9% for positive answer [P<0.01]) and symptoms of allergic rhinitis (difference of 7% for positive answer [P<0.01]). A large discrepancy was also found in the multiple choice question and with an open-ended response (ie, free answer). For the three potentially sensitive questions, a desirability bias was probably present in one question on smoking habits (difference of 2.6 % for positive answer [P<0.05]).
Conclusion: The differences observed between Internet and telephone responses to selected questions were not completely explained by socioeconomic disparities among the respondents. In a mixed-mode survey (Internet and telephone), caution should be used when formulating sensitive, complex, open-ended and long-ended questions, and those related to highly prevalent and nonspecific symptoms.
HISTORIQUE :: L’utilisation de modes d’administration mixtes lors d’enquêtes soulève des questions sur leur comparabilité.
OBJECTIVE:: L’objectif de cette étude était d’explorer les différences entre les modes Internet et téléphonique, du profil socioéconomique et des réponses des répondants à un questionnaire portant sur la santé respiratoire.
MÉTHODES:: les données proviennent d’une enquête réalisée par Internet et téléphone sur la santé respiratoire chez les enfants de Montréal en 2006. Les réponses à 12 questions sélectionnées ont été comparées après les avoir été standardisées sur la base du niveau d’éducation du répondant et du revenu familial. Une analyse par catégories d’éducation et de revenu a aussi été effectuée sur les questions montrant des réponses significativement divergentes.
RÉSULTATS :: six questions affichent des réponses significativement différentes entre les deux modes après standardisation. Les différences les plus importantes sont observées parmi les questions fermées concernant des symptômes très prévalents, la toux sèche nocturne (différence de 9 % dans les réponses positives, P<0.01) et les symptômes de la rhinite allergique (différence de 7 % dans les réponses positives, P<0.01). Une divergence importante est aussi constatée pour une question avec choix multiples et un item ouvert. Parmi les trois questions potentiellement sensibles, un biais de désirabilité semble présent pour celle concernant l’usage du tabac (différence de 3 % dans les réponses positives, P<0.05).
CONCLUSION :: les différences observées entre les réponses des questionnaires Internet et téléphonique des questions sélectionnées ne sont pas complètement expliquées par les disparités socioéconomiques des répondants. Lorsqu’une enquête combine les modes Internet et téléphone, des précautions doivent être prises dans la formulation des questions sensibles, complexes ou comprenant un item ouvert, ou des questions sur des symptômes très prévalents et non spécifiques.