Background and objectives: Chat Generative Pretrained Transformer (ChatGPT) has become an increasingly popular way for patients and healthcare professionals to seek information on health and nutrition advice. Previous studies have raised concerns about the accuracy of dietary advice provided by ChatGPT. We aimed to evaluate the potential of ChatGPT as a tool to provide dietary therapy for methylmalonic acidemia (MMA) in October 2024. Methods and study design: we compared ChatGPT's (version 4.0) dietary advices for MMA with internationally recognized guidelines and current literature, and then evaluated the chatbot's ability to generate dietary therapy in two different cases with MMA. A team of dietitians and metabolic physicians compared ChatGPT responses to disease-specific guidelines and evidence-based resources. Results: overall, ChatGPT provided specific advices: 20.0 % of responses were considered appropriate and 53.4 % were considered inappropriate. Especially in this group of patients whose only known treatment was dietary therapy, the dietary therapy recommended by ChatGPT was also inappropriate for the two cases in question. Conclusions: this study was the first to evaluate the appropriateness of artificial intelligence advices for specialized dietary management of inherited metabolic disorders. Consequently, the idea that artificial intelligence can replace human labor in the near future seems far-fetched, given the low success rate of even a diagnosis with such a clear mechanism and treatment, and individualized treatment approaches.
Antecedentes y objetivos: el Chat Generative Pretrained Transformer (ChatGPT) se ha convertido en una herramienta cada vez más utilizada por pacientes y profesionales de la salud para obtener información sobre salud y asesoramiento nutricional. Estudios previos han planteado preocupaciones acerca de la exactitud de las recomendaciones dietéticas proporcionadas por ChatGPT. El objetivo de este estudio fue evaluar el potencial de ChatGPT como herramienta para proporcionar tratamiento dietético en la acidemia metilmalónica (AMM) en octubre de 2024. Métodos y diseño del estudio: se compararon las recomendaciones dietéticas de ChatGPT (versión 4.0) para AMM con guías internacionalmente reconocidas y la literatura científica actual, y posteriormente se evaluó la capacidad del chatbot para generar tratamiento dietético en dos casos distintos de AMM. Un equipo de dietistas y médicos especialistas en metabolismo comparó las respuestas de ChatGPT con guías específicas de la enfermedad y recursos basados en la evidencia. Resultados: en general, ChatGPT proporcionó recomendaciones específicas: el 20,0 % de las respuestas se consideraron apropiadas y el 53,4 % se consideraron inapropiadas. Especialmente en este grupo de pacientes, cuyo único tratamiento reconocido es la terapia dietética, las recomendaciones de ChatGPT resultaron igualmente inapropiadas para los dos casos evaluados. Conclusiones: este estudio es el primero en evaluar la idoneidad de las recomendaciones generadas por inteligencia artificial para el manejo dietético especializado de trastornos metabólicos hereditarios. En consecuencia, la idea de que la inteligencia artificial pueda sustituir la labor humana en un futuro próximo parece poco realista, dado el bajo índice de acierto incluso en un diagnóstico con un mecanismo y tratamiento tan claramente definidos, así como con enfoques terapéuticos individualizados.
Keywords: Inteligencia artificial. ChatGPT. Manejo dietético. Trastornos metabólicos hereditarios. Acidemia metilmalónica..