I ricercatori della Long Island University hanno scoperto i limiti del ChatGPT di OpenAI quando si tratta di affrontare questioni mediche. Uno studio recente ha rilevato che il chatbot basato sull’intelligenza artificiale ha fornito risposte accurate solo a una frazione delle domande relative ai farmaci, sollevando preoccupazioni sui potenziali rischi derivanti dall’affidarsi a tale intelligenza artificiale per la consulenza medica.
Precisione delle risposte di ChatGPT
In uno studio condotto da ricercatori della Long Island University, a ChatGPT sono state poste 39 domande relative ai farmaci, che rappresentano richieste reali da parte del servizio di informazione sui farmaci del College of Pharmacy dell'università. Le risposte generate da ChatGPT sono state poi confrontate con le risposte fornite da farmacisti qualificati. I risultati sono stati tutt’altro che rassicuranti, con ChatGPT che ha fornito risposte accurate solo a circa il 25% delle domande. Nei restanti casi, le risposte erano incomplete, imprecise o semplicemente non rispondevano adeguatamente alle domande.
Preoccupazioni per la salute pubblica
Dato il rapido aumento della popolarità di ChatGPT dopo il suo rilascio nel novembre 2022, sono emerse preoccupazioni riguardo al suo utilizzo per richieste mediche. Sara Grossman, professoressa associata di pratica farmaceutica presso l'Università di Long Island e una delle autrici dello studio, ha espresso preoccupazione per il fatto che studenti, farmacisti e il pubblico in generale potrebbero rivolgersi a ChatGPT per informazioni relative alla salute e ai farmaci. Sfortunatamente, lo studio ha rivelato che molte delle risposte dell’IA non solo erano imprecise ma potenzialmente pericolose.
Ad esempio, in una domanda sulle potenziali interazioni farmacologiche tra il farmaco antivirale Covid-19 Paxlovid e il farmaco per abbassare la pressione sanguigna Verapamil, ChatGPT ha fornito una risposta imprecisa, suggerendo che non vi fossero effetti avversi. In realtà, la combinazione di questi farmaci può portare ad un calo significativo della pressione sanguigna, provocando vertigini e svenimenti. Tali informazioni fuorvianti potrebbero mettere a rischio le persone.
Riferimenti scientifici discutibili
I ricercatori hanno anche scoperto che quando chiedevano a ChatGPT riferimenti scientifici a supporto delle sue risposte, l’intelligenza artificiale poteva fornire riferimenti solo per un numero limitato di domande. Ancora più preoccupante, i riferimenti forniti erano spesso inventati e apparivano legittimi a prima vista. Queste citazioni inventate elencavano URL, formattazione corretta e persino riferimenti a riviste scientifiche rinomate. Tuttavia, dopo un'indagine, è diventato chiaro che ChatGPT aveva creato questi riferimenti, mettendo in dubbio l'affidabilità delle sue informazioni.
In un caso, a ChatGPT è stato chiesto di fornire un rapporto di conversione della dose per il farmaco baclofene per gli spasmi muscolari durante il passaggio dalle iniezioni spinali alle dosi orali. L'intelligenza artificiale ha fornito un tasso di conversione insieme a riferimenti alle linee guida delle organizzazioni mediche. Tuttavia, nessuna di queste organizzazioni aveva stabilito un rapporto ufficiale di conversione della dose, rendendo le informazioni di ChatGPT inaffidabili. Inoltre, l’IA ha commesso un errore critico nel calcolo, risultando in una dose raccomandata 1.000 volte inferiore a quella richiesta. Un simile errore potrebbe portare a gravi sintomi di astinenza nei pazienti se seguiti da un operatore sanitario.
I pericoli della disinformazione
Lo studio della Long Island University non è il primo a sollevare preoccupazioni sulla capacità di ChatGPT di generare citazioni fittizie quando risponde a domande mediche. Anche ricerche precedenti hanno evidenziato questo problema, dimostrando che l’intelligenza artificiale può creare ingannevoli falsificazioni di riferimenti scientifici, attribuendoli addirittura ad autori reali con precedenti pubblicazioni su riviste scientifiche.
Sara Grossman, che aveva un'esperienza limitata con ChatGPT prima dello studio, ha espresso sorpresa per la capacità dell'intelligenza artificiale di sintetizzare con sicurezza le informazioni in modo istantaneo. Le risposte dell'IA sono state presentate in modo professionale e sofisticato, dando potenzialmente agli utenti un falso senso di fiducia nell'accuratezza delle informazioni fornite.
La risposta di OpenAI
In risposta a questi risultati, OpenAI, l'organizzazione dietro ChatGPT, ha consigliato agli utenti di non fare affidamento sulle risposte dell'IA come sostituto di una consulenza o di un trattamento medico professionale. Le politiche di utilizzo di OpenAI affermano esplicitamente che i modelli di ChatGPT non sono ottimizzati per fornire informazioni mediche e non dovrebbero mai essere utilizzati per servizi diagnostici o terapeutici per condizioni mediche gravi.
Alla ricerca di informazioni mediche affidabili
Sebbene la comodità di ChatGPT e di strumenti di intelligenza artificiale simili sia innegabile, i consumatori sono invitati a prestare attenzione quando cercano informazioni mediche online. Sara Grossman ha raccomandato di utilizzare siti web governativi come la pagina MedlinePlus del National Institutes of Health per ottenere informazioni affidabili. Tuttavia, ha sottolineato che le risposte online non dovrebbero sostituire la guida degli operatori sanitari, poiché il caso di ogni paziente è unico e richiede cure personalizzate.
Lo studio condotto dalla Long Island University serve a ricordare chiaramente i limiti dell’intelligenza artificiale, in particolare quando si tratta di questioni critiche come l’assistenza sanitaria. Sebbene l’intelligenza artificiale possa fornire informazioni preziose, non dovrebbe mai sostituire l’esperienza e la guida di operatori sanitari qualificati. Le conseguenze dell’affidarsi a informazioni inaccurate o inventate possono essere gravi, sottolineando la necessità di vigilanza e discernimento nell’era digitale.