The Impact of Data Collection Methodology on the Reporting of Illicit Drug Use by Adolescents
François Beck
Patrick Peretti-Watel
Surveys to measure the extent of illicit drug use by young people produce contrasting results depending on the data collection method employed. This article compares two surveys, one using a self-completed questionnaire in school, the other a telephone survey conducted at home. The former yields a systematically higher prevalence of drug use over the last year. These differences, which are then analysed for cannabis consumption, seem not to result from selection bias. When analysed for senior high school (lycée) pupils only, they are unchanged after controlling for age and sex. Similar differences are observed on other sensitive questions (truancy, occasional tobacco consumption, suicidal thoughts), suggesting that they are indeed a result of the data collection method. A logistic model is used to evaluate the effect of the collection method, after adjusting for a number of socio-demographic and educational indicators: relative to the telephone interview, the self-completed questionnaire in school increases by 1.7 the probability of reporting cannabis use during the previous year. A possible “group effect” with this form of collection remains to be controlled for, however.
Las encuestas que pretender estimar el nivel de uso de drogas ilegales entre los adolescentes dan resultados contrastados según el método de colecta. Este artículo compara dos encuestas basadas en métodos de colecta de datos distintos: cuestionario auto-administrado en medios escolares y entrevista por teléfono en el domicilio. Los niveles de uso durante el año obtenidos utilizando el primer método son sistemáticamente superiores. Las diferencias, que se analizan para el caso de consumo de cannabis, no parecen deberse a efectos de selección. Si se analizan exclusivamente los estudiantes de secundaria, las diferencias por edad y sexo persisten. La existencia de diferencias similares en las respuestas a otras preguntas sensibles (absentismo, uso de tabaco ocasional, ideas suicidas) ponen el método de colecta en cuestión. Un modelo logístico permite evaluar el efecto del método, una vez se han tomado en cuenta varios indicadores socio-demográficos y escolares: en relación a la entrevista por teléfono, el cuestionario auto-administrado en medios escolares multiplica por 1,7 las probabilidades de declarar consumo de cannabis durante el año de la entrevista. No obstante, haría falta controlar un posible “efecto de grupo” para este último método de colecta.
• Systematic differences between the two types of surveys
— The surveys
— Systematic differences
• Are the differences due to selection biases?
— Comparability of the two samples
— The differences remain after controlling for age and sex
• The impact of the data collection method
— Survey context or data collection method?
— Data collection method and sensitive questions
• Conclusion
• REFERENCES