In un recente studio trasversale i ricercatori hanno esplorato le prestazioni dei modelli linguistici di grandi dimensioni (LLM) negli esami di tipo neurologico.
Lo studio, che ha utilizzato una banca di domande approvata dall’American Board of Psychiatry and Neurology, ha rivelato approfondimenti su questi modelli linguistici avanzati.
ChatGPT domina l'esame di neurologia
Lo studio ha coinvolto due versioni di LLM ChatGPT: versione 3.5 e versione 4. I risultati hanno rivelato che LLM 2 supera significativamente il suo predecessore . Inoltre, superando anche il punteggio medio umano nell'esame della commissione di neurologia.
Secondo i risultati , il LLM 2 ha risposto correttamente all'85,0% delle domande. Nel frattempo, il punteggio umano medio è del 73,8%.
Questi dati suggeriscono che, con ulteriori perfezionamenti, i modelli linguistici di grandi dimensioni potrebbero trovare applicazioni significative nella neurologia clinica e nell’assistenza sanitaria.
Per saperne di più: 9 suggerimenti e suggerimenti ChatGPT per creare la descrizione del lavoro perfetta
ChatGPT ottiene risultati migliori nelle domande d'esame di ordine inferiore
Tuttavia, anche il modello più vecchio, LLM 1, ha dimostrato prestazioni sufficienti , anche se leggermente inferiori alla media umana, con un punteggio del 66,8%.
Entrambi i modelli hanno utilizzato costantemente un linguaggio sicuro, indipendentemente dalla correttezza delle risposte, indicando una potenziale area di miglioramento nelle iterazioni future .
Secondo lo studio le domande sono state classificate in ordine inferiore e ordine superiore in base alla tassonomia Bloom.
Entrambi i modelli hanno ottenuto risultati migliori con le domande di ordine inferiore. Tuttavia, LLM 2 ha mostrato eccellenza sia nelle domande di ordine inferiore che in quello di ordine superiore, dimostrando la sua versatilità e capacità cognitive .
Per saperne di più: ChatGPT vs. Google Bard: un confronto tra chatbot AI
Le migliori piattaforme crittografiche | Dicembre 2023
Il post ChatGPT raggiunge l'85% nell'esame neurologico di livello professionale è apparso per la prima volta su BeInCrypto .