Objective: Objective. Analyze the usability, interaction patterns, and quality of conversational interaction of the AI-powered "Be Yourself" chatbot to foster self-determined motivation and prevent adolescent pregnancy.
Methods: Post-intervention usability pilot study conducted with 74 Mexican school-going adolescents (aged 11-15), using the System Usability Scale (SUS) at two time points: immediately after the intervention and at two-month follow-up. Interaction metrics (number of messages) and confidence coefficients were analyzed within content related to self-determined motivation, pregnancy prevention, and sexual communication.
Results: Participants were 49.6% male and 50.4% female, with a mean age of 12.7 (SD=0.98). The chatbot recorded 74 chats and 1,236 messages. The SUS was assessed post-intervention (n=74) and at the two-month follow-up (n=70). Initially, usability was rated as 18.9% "Good" and 81.1% "Acceptable." At follow-up, the proportions across categories changed to 5.7% "Good," 92.9% "Acceptable," and 1.4% "Poor." The Wilcoxon signed-rank test showed a significant decrease in perceived usability (p<0.001; r=-0.56) between the two assessment points. The highest confidence coefficients were observed for communication with parents (93.2%) and pregnancy prevention (89.1%), whereas self-determined motivation was lower (79.1%).
Conclusion: The chatbot demonstrated acceptable usability and high short-term acceptance as an informational tool for preventing adolescent pregnancy. However, the decrease in usability scores at the two-month follow-up indicates the need for improvements to foster sustained engagement and address behavioral aspects.
Objetivo.: Analizar la usabilidad, los patrones de interacción y calidad conversacional del chatbot “Sé tú mismo” con IA para fomentar la motivación autodeterminada y prevenir el embarazo adolescente.
Métodos.: Estudio piloto de usabilidad post-intervención en 74 adolescentes escolares mexicanos (11-15 años), utilizando la Escala de Usabilidad del Sistema (SUS) en dos momentos: inmediatamente después de la intervención y a los dos meses de seguimiento. Se analizaron métricas de interacción (cantidad de mensajes) y coeficientes de confianza en contenidos relacionados con motivación autodeterminada, prevención del embarazo y comunicación sexual.
Resultados.: Los participantes fueron 49.6% hombres y 50.4% mujeres, el promedio de edad fue de 12.7(DE=0.98). El chatbot registró 74 chats y 1236 mensajes. La SUS fue evaluada en la post-intervención (n=74) y a los dos meses de seguimiento (n=70). Inicialmente, se calificó la usabilidad así: 18.9% en “Buena” y 81.1% en “Aceptable”. En el seguimiento, cambiaron las proporciones en las categorías: 5.7% en “Buena”, 92.9% en “Aceptable” y un 1.4% en “Pobre”. El análisis de Wilcoxon mostró una disminución significativa en la usabilidad percibida (p<0.001; r=-0.56) entre los dos momentos de evaluación. Los mayores coeficientes de confianza se observaron en comunicación con los padres (93.2%) y prevención del embarazo (89.1%), mientras que motivación autodeterminada fue menor (79.1%).
Conclusión.: El chatbot presentó usabilidad aceptable y alta aceptación a corto plazo como herramienta informativa para la prevención del embarazo adolescente. Sin embargo, la reducción del puntaje de usabilidad a los dos meses indica la necesidad de mejoras para fomentar el compromiso sostenido y el abordaje de aspectos conductuales.
Objetivo.: Analisar a usabilidade, os padrões de interação e a qualidade conversacional do chatbot “Sé tú mismo” com IA para promover a motivação autodeterminada e prevenir a gravidez na adolescência.
Métodos.: Estudo piloto de usabilidade pós-intervenção em 74 adolescentes mexicanos em idade escolar (11-15 anos), utilizando a Escala de Usabilidade do Sistema (SUS) em dois momentos: imediatamente após a intervenção e dois meses após o acompanhamento. Foram analisadas métricas de interação (quantidade de mensagens) e coeficientes de confiança em conteúdos relacionados à motivação autodeterminada, prevenção da gravidez e comunicação sexual.
Resultados.: Os participantes eram 49.6% homens e 50.4% mulheres, com idade média de 12.7 (DE = 0.98). O chatbot registou 74 conversas e 1236 mensagens. A SUS foi avaliada na pós-intervenção (n = 74) e dois meses após o acompanhamento (n = 70). Inicialmente, a usabilidade foi classificada da seguinte forma: 18,9% em «Boa» e 81.1% em «Aceitável». No acompanhamento, as proporções nas categorias mudaram: 5.7% em «Boa», 92.9% em «Aceitável» e 1.4% em «Ruim». A análise de Wilcoxon mostrou uma diminuição significativa na usabilidade percebida (p<0,001; r=-0,56) entre os dois momentos de avaliação. Os maiores coeficientes de confiança foram observados na comunicação com os pais (93.2%) e na prevenção da gravidez (89.1%), enquanto a motivação autodeterminada foi menor (79.1%).
Conclusão.: O chatbot apresentou usabilidade aceitável e alta aceitação a curto prazo como ferramenta informativa para a prevenção da gravidez na adolescência. No entanto, a redução da pontuação de usabilidade aos dois meses indica a necessidade de melhorias para promover o compromisso sustentado e abordar aspectos comportamentais.
Keywords: artificial intelligence; generative artificial intelligence; pregnancy in adolescence; sexual health; user-centered design.
Copyright� by the Universidad de Antioquia.