Desempenho do ChatGPT em questões de radiologia e de concursos de residência médica

Abstract

Resumo: Recentes avanços da inteligência artificial levantam questionamentos sobre seu uso na medicina, mas seu potencial para auxiliar na educação médica ainda é incerto. O ChatGPT, chatbot online publicamente disponível, constitui um desses avanços. Compreender seu grau de conhecimento médico pode auxiliar a definir seu potencial uso futuro não só na medicina, mas também em educação médica. Este trabalho objetiva testar a acurácia do ChatGPT na resolução de questões de concursos de residência médica e em questões da avaliação anual dos residentes de radiologia pelo Colégio Brasileiro de Radiologia e analisar, com base nesta performance, suas implicações na formação médica. 500 questões de concursos de residência médica do Hospital de Clínicas da Universidade Federal do Paraná (2017-2021) e 165 questões da avaliação anual dos residentes do CBR (2018, 2019 e 2022) foram apresentadas ao ChatGPT, e suas respostas, analisadas. Elas foram divididas, para análise estatística, em questões que avaliavam habilidades cognitivas de ordem superior ou inferior e de acordo com a especialidade e tipo de questão. Foram realizados testes t de student, chi-quadrado e ANOVA. O ChatGPT acertou 56% das questões de residência (280/500) e 53,3% das questões de radiologia (88/165). Houve diferença estatisticamente significativa comparando-se o desempenho em questões que avaliam habilidades cognitivas de ordem inferior e superior tanto nas questões de residência (63,8% x 52,5%, p= 0,01) quanto nas questões de radiologia (64,4 x 47,2%, 50/106, p= 0,01). Nas questões de residência, melhor performance foi obtida em clínica médica (70%), seguida por pediatria (57%), cirurgia geral (56%), ginecologia e obstetrícia (51%) e medicina preventiva e social (46%), sem diferença significativa entre essas áreas, mas com significância entre os diferentes tipos de perguntas (p < 0,01). O desempenho do ChatGPT foi acima da linha de corte de quatro das especialidades dos concursos de residência. Em radiologia, houve maior índice de acertos em física (90%, 18/20) do que em questões clínicas (48%, 70/145) (p = 0,02). Não houve diferença significativa de desempenho entre subespecialidades ou ano de residência (p>0,05). O conhecimento exibido mostra que é possível a um estudante utilizar o ChatGPT para revisar diferentes temas, especialmente porque ele costuma realizar uma análise aprofundada de todas as assertivas de cada questão. Ele também possui valioso poder de síntese, sendo capaz de sumarizar informações disponíveis em consensos e diretrizes, facilitando a acesso do estudante a essas informações. Em resumo, o ChatGPT apresentou desempenho similar ao de candidatos reais em questões de concursos de residência e em questões que avaliam residentes de radiologia brasileiros. A análise de suas respostas e habilidades sugere um possível papel auxiliar dessa ferramenta para acadêmicos de medicina e médicos residentes estudarem os assuntos abordados.

Abstract: Recent advances in artificial intelligence raise questions about its use in medicine, but its potential to assist in medical education is still uncertain. ChatGPT, a publicly available online chatbot, is one such advancement. Understanding its level of medical knowledge can help determine its potential future use not only in medicine but also in medical education. This study aims to test the accuracy of ChatGPT in answering questions from medical residency exams and in questions from the annual evaluation of radiology residents performed by the Brazilian College of Radiology. Based on this performance, the implications for medical education are analyzed. 500 medical residency exam questions from the Clinical Hospital of the Federal University of Paraná (2017-2021) and 165 questions from the annual evaluation of radiology residents by the Brazilian College of Radiology (2018, 2019, and 2022) were presented to ChatGPT, and its responses were analyzed. For statistical analysis, questions were divided based on whether they assessed higher or lower-order cognitive skills and according to specialty and question type. Student's t-tests, chi-square tests, and ANOVA were conducted. ChatGPT correctly answered 56% of residency examination questions (280/500) and 53.3% of radiology questions (88/165). There was a statistically significant difference in performance between questions assessing lower and higher-order cognitive skills in both residency examination questions (63.8% vs. 52.5%, p=0.01) and radiology questions (64.4% vs. 47.2%, 50/106, p=0.01). In residency questions, the best performance was in internal medicine (70%), followed by pediatrics (57%), general surgery (56%), gynecology and obstetrics (51%), and preventive and social medicine (46%), with no significant difference between these areas, but with significance between different question types (p<0.01). ChatGPT's performance exceeded the passing threshold for four residency exam specialties. In radiology, there was a higher accuracy rate in physics questions (90%, 18/20) compared to clinical questions (48%, 70/145) (p=0.02). There was no significant difference in performance between subspecialties or residency year (p>0.05). The displayed knowledge indicates that students can use ChatGPT to review various topics, especially because it tends to conduct a thorough analysis of all answer choices for each question. It also has valuable summarization capabilities, being able to condense information from consensuses and guidelines, facilitating student access to this data. In summary, ChatGPT demonstrated a performance similar to that of real candidates in residency examination questions and questions evaluating Brazilian radiology residents. The analysis of its responses and skills suggests a potential supportive role for this tool in the study of medical topics by medical students and residents.