Intelligence artificielle dans l'éducation médicale : performance de ChatGPT versus étudiants en médecine à un examen médical

L'étude, de type transversal, a comparé les performances de ChatGPT (versions 3.5 et 4.0) à celles de 41 étudiants de quatrième année de médecine sur un examen de 49 questions à choix multiples en médecine préventive et psychiatrie. Les résultats montrent que le score moyen des étudiants était de 29,5 ± 5,9, tandis que les scores initiaux de ChatGPT 3.5 et 4.0 étaient respectivement de 28 et 43. Après un re-prompting, les scores sont passés à 40 et 46. Le modèle 4.0 a surpassé tous les étudiants après re-prompting. Les auteurs rapportent que, à l'exception du premier prompt de ChatGPT 3.5, les modèles ChatGPT avaient une probabilité plus élevée de fournir des réponses correctes que les étudiants. Pour les questions faciles, la précision des deux modèles ChatGPT différait significativement de celle des étudiants, tandis que pour les questions difficiles, la différence entre les étudiants et le premier prompt de ChatGPT 3.5 n'était pas significative. Une tendance non significative a été observée dans la comparaison de la précision par difficulté de question. L'analyse NeuroWatch note que le contrôle des facteurs de confusion n'est pas rapporté dans le résumé, ce qui rend cette dimension indéterminée. La validité de la mesure est limitée par l'exclusion d'une question basée sur une image, ce qui peut affecter la comparabilité. La population est restreinte à un seul établissement et à deux domaines médicaux, limitant la généralisabilité. Les analyses statistiques semblent limitées à des comparaisons de moyennes et de probabilités, sans détails sur les tests de signification ou les ajustements. Les intervalles de confiance, les valeurs p exactes, les détails sur la catégorisation de la difficulté, les données démographiques des étudiants et les analyses au niveau des items ne sont pas rapportés dans la source analysée. L'analyse est automatisée et basée uniquement sur le résumé, ce qui limite la robustesse des conclusions.

Cette analyse est produite automatiquement par une IA à partir des sources indiquées, puis l’appréciation est calculée avec des règles versionnées (scientific_analysis_v2). Elle ne constitue ni une validation par un professionnel ni une recommandation clinique. Consulter la méthodologie.