Tecnologia

ChatGPT erra mais de 80% de diagnósticos de pediatria em estudo

Publicidade



ChatGPT erra mais de 80% de diagnósticos de pediatria em estudo - 1

O ChatGPT é uma ferramenta útil, mas ainda não substitui uma consulta médica, especialmente com crianças. Um estudo publicado pela JAMA Network, dos EUA, revelou que o chatbot da OpenAI teve uma taxa de acerto de apenas 17% em diagnósticos da área de pediatria.

Na ocasião, o modelo usado foi o GPT-4, com informações mais recentes e disponível via ChatGPT Plus ou Copilot do Bing. O levantamento considerou o desempenho do chatbot para avaliar 100 casos médicos pediátricos publicados entre 2013 e 2023 — para cada situação, um grupo de pesquisadores determinava se a resposta era correta, incorreta ou se o diagnóstico estava incompleto. Foram apenas 17 respostas corretas, contra diagnósticos errados em 72 dos casos, além de 11 respostas incompletas.

ChatGPT erra mais de 80% de diagnósticos de pediatria em estudo - 2
O ChatGPT não mostrou-se confiável para obter diagnóstios pediátricos em estudo (Imagem: Viralyft/Unsplash)

Possíveis motivos

Os pesquisadores apontam alguns motivos para o mau desempenho na pediatria. Um deles é a idade: a faixa etária do paciente é muito mais importante em casos pediátricos do que em situações gerais, e é comum que as crianças não consigam explicar os sintomas com clareza.


Canaltech no Youtube: notícias, análise de produtos, dicas, cobertura de eventos e muito mais! Assine nosso canal no YouTube, todo dia tem vídeo novo para você!

Outros fatores importantes são a falta de capacidade de reconhecer relações entre condições médicas e o acesso limitado do ChatGPT a dados de saúde. Os pesquisadores sugerem que a IA teria um desempenho melhor caso fosse treinada com mais relatórios médicos.

E em outros casos clínicos?

A performance do ChatGPT com pediatria é ruim, mas o desempenho melhora em situações mais gerais: um outro estudo, publicado pelo New England Journal of Medicine, dos EUA, revelou que a IA acertou o diagnóstico em 39% dos casos.

Em ambos os casos, os profissionais concluem que os chatbots com grandes modelos de linguagem (LLMs) podem ser usados como uma ferramenta complementar. A IA ainda seria importante no cenário clínico para responder a perguntas de pacientes, oferecer informações gerais e ajudar com o agendamento de consultas.

Trending no Canaltech:

Fonte: Canaltech