ChatGPT si laurea in medicina: un pericolo per la professione medica?

Il chatbot AI ChatGPT ha ottenuto un punteggio pari o intorno alla soglia di superamento del 60% circa per l’esame di abilitazione alla professione medica negli Stati Uniti (USMLE), “con risposte che hanno un senso interno e coerente e che contengono frequenti approfondimenti”. L’USMLE è una serie altamente standardizzata e regolamentata di tre esami richiesti per l’abilitazione alla professione medica negli Stati Uniti. Affrontato da studenti di medicina e medici in formazione, l’USMLE valuta le conoscenze della maggior parte delle discipline mediche, dalla biochimica al ragionamento diagnostico, fino alla bioetica.

Per vedere come la modalità linguistica si sarebbe comportata in questo esame così complesso, Kung e colleghi hanno testato le prestazioni di ChatGPT. Hanno rimosso le domande basate sulle immagini e hanno sottoposto a ChatGPT 350 delle 376 domande pubbliche disponibili nella versione USMLE di giugno 2022.

ChatGPT ha ottenuto un punteggio compreso tra il 52,4% e il 75,0% nei tre esami USMLE. Questi punteggi sono particolarmente incoraggianti, dato che la soglia di superamento ogni anno è di circa il 60%. ChatGPT ha inoltre dimostrato una concordanza del 94,6% tra tutte le sue risposte e ha prodotto almeno una comprensione significativa per l’88,9% delle sue risposte. ChatGPT ha persino superato le prestazioni di PubMedGPT, un modello omologo addestrato esclusivamente sulla letteratura biomedica, che ha ottenuto solo il 50,8% su un vecchio set di domande in stile USMLE.

Gli autori hanno concluso che ChatGPT ha il potenziale per migliorare la formazione medica e, in ultima analisi, la pratica clinica. In effetti, i medici di AnsibleHealth usano già ChatGPT per riscrivere i referti pesanti in termini di gergo per facilitare la comprensione dei pazienti.

ChatGPT sostituirà io medici? Ovviamente non è in grado di riconoscere immagini quindi la sua conoscenza è puramente teorica, non fa vere diagnosi sulle persone. Potrebbe essere un aiuto anche ai medici, ma con due avvertenze: un suo abuso potrebbe rendere troppo rigidi e pigri i meedici umani, che sarebbero eccessivamente confidenti nella AI. Quindi ChatGPT è basato sullo studio di casi storici standard e manca dell’intuito umano, oltre che di una parte della capacità relazionale dell’essere senziente. Però sarebbe un pericolo per  quei medici superficiali che fanno solo ricette…