I ricercatori del MIT, in collaborazione con il MIT-IBM Watson AI Lab, hanno sviluppato un innovativo sistema automatizzato che mira ad affrontare una domanda critica nella collaborazione uomo-intelligenza artificiale: quando gli utenti dovrebbero fidarsi dei consigli di un assistente AI? Questo sistema offre un processo di onboarding personalizzato che aiuta gli utenti a determinare quando fare affidamento sui consigli dell’intelligenza artificiale e quando prestare attenzione.
Il processo di onboarding personalizzato migliora la collaborazione uomo-intelligenza artificiale
Il sistema del team di ricerca è progettato per aiutare gli utenti, come professionisti medici o chiunque lavori con modelli di intelligenza artificiale, a imparare quando collaborare in modo efficace con gli assistenti di intelligenza artificiale. Ciò avviene attraverso un processo di onboarding su misura che guida gli utenti nella comprensione dell’affidabilità dei consigli dell’intelligenza artificiale in situazioni specifiche.
Il sistema identifica i casi in cui gli utenti si fidano erroneamente delle raccomandazioni dell'intelligenza artificiale, anche quando le previsioni dell'intelligenza artificiale sono errate. Quindi apprende automaticamente le regole per la collaborazione e le comunica in linguaggio naturale durante il processo di onboarding. Ciò consente agli utenti di esercitarsi a collaborare con l'intelligenza artificiale attraverso esercizi di formazione basati su queste regole, ricevendo feedback sulle loro prestazioni e su quelle dell'intelligenza artificiale.
I risultati: maggiore precisione nella collaborazione uomo-intelligenza artificiale
I ricercatori hanno condotto test per valutare l’efficacia del loro processo di onboarding. I risultati hanno mostrato un significativo miglioramento del 5% nella precisione quando gli esseri umani e l’intelligenza artificiale hanno collaborato su attività di previsione delle immagini rispetto a scenari in cui agli utenti veniva semplicemente detto quando fidarsi dell’intelligenza artificiale senza il beneficio della formazione.
Un sistema di apprendimento completamente automatizzato
Uno dei punti di forza di questo sistema è la sua completa automazione. Impara a creare un processo di onboarding su misura basato sui dati generati dalle interazioni uomo-intelligenza artificiale in un compito specifico. Inoltre, può adattarsi a diversi compiti, rendendolo uno strumento versatile per vari ambiti in cui gli esseri umani e i modelli di intelligenza artificiale collaborano, tra cui la moderazione dei contenuti dei social media, la scrittura, la programmazione e, soprattutto, il campo medico.
Affrontare il divario nella formazione sull’intelligenza artificiale
Hussein Mozannar, autore principale del documento di ricerca e studente laureato al MIT, ha evidenziato la questione critica di fornire strumenti di intelligenza artificiale agli utenti senza una formazione adeguata. Ha sottolineato che quasi tutti gli altri strumenti sono dotati di una qualche forma di tutorial, ma gli strumenti di intelligenza artificiale spesso mancano di questa formazione essenziale. I ricercatori mirano a colmare questa lacuna fornendo un approccio metodologico e comportamentale alla formazione degli utenti nella collaborazione uomo-intelligenza artificiale.
Implicazioni per i professionisti medici
I ricercatori prevedono che il processo di onboarding sarà una componente cruciale della formazione dei professionisti medici che faranno sempre più affidamento sugli strumenti di intelligenza artificiale per prendere decisioni critiche. Questo approccio potrebbe rimodellare il modo in cui viene erogata la formazione medica continua e influenzare la progettazione degli studi clinici.
Onboarding automatizzato: come funziona
A differenza dei metodi di onboarding esistenti che si basano su materiali di formazione prodotti da esperti umani per casi d’uso specifici, il sistema dei ricercatori apprende automaticamente dai dati. Segue una serie di passaggi per creare un processo di onboarding personalizzato:
1. Raccolta dati: il sistema raccoglie dati sia sull'essere umano che sull'intelligenza artificiale mentre esegue un compito specifico, come il rilevamento di oggetti nelle immagini.
2. Rappresentazione dello spazio latente: i dati raccolti sono incorporati in uno spazio latente, che raggruppa insieme punti dati simili.
3. Identificazione degli errori di collaborazione: un algoritmo identifica le regioni nello spazio latente in cui l'essere umano collabora in modo errato con l'intelligenza artificiale. Queste regioni rappresentano situazioni in cui l'essere umano si fidava della previsione dell'IA, ma la previsione era errata e viceversa.
4. Generazione di regole: un secondo algoritmo utilizza un modello linguistico di grandi dimensioni per descrivere ciascuna regione con regole del linguaggio naturale, perfezionandole in modo iterativo trovando esempi contrastanti. Queste regole costituiscono la base per gli esercizi di formazione.
5. Esercizi di formazione : il sistema di onboarding presenta esempi all'utente, come immagini e previsioni AI, e chiede all'utente di fare previsioni. Se le previsioni dell'utente non sono corrette, riceveranno la risposta corretta e le statistiche sulle prestazioni.
6. Apprendimento per collaborazioni future : attraverso questo processo, gli utenti imparano come collaborare in modo efficace con l'intelligenza artificiale comprendendo le regole su quando fidarsi delle raccomandazioni dell'intelligenza artificiale.
Efficacia del processo di onboarding
I ricercatori hanno condotto test che prevedevano attività come il rilevamento di semafori in immagini sfocate e la risposta a domande a scelta multipla provenienti da vari ambiti. I risultati hanno dimostrato che il processo di onboarding senza raccomandazioni ha migliorato significativamente la precisione degli utenti di circa il 5% nell'attività di previsione del semaforo senza rallentarli. Tuttavia, l’onboarding è stato meno efficace per l’attività di risposta alle domande, probabilmente a causa del modello di intelligenza artificiale che fornisce spiegazioni con ogni risposta.
Al contrario, fornire consigli senza l’onboarding ha avuto un effetto dannoso sulle prestazioni degli utenti e sulla velocità del processo decisionale. Gli utenti sembravano avere difficoltà quando ricevevano solo consigli, poiché ciò interrompeva il loro processo di pensiero.
Ricerca ed espansione futura
Il team di ricerca prevede di condurre studi più ampi per valutare gli effetti sia a breve che a lungo termine del processo di onboarding. Mirano inoltre a sfruttare i dati non etichettati per migliorare il processo di onboarding ed esplorare metodi per ridurre il numero di regioni senza escludere esempi cruciali.
Dan Weld, professore emerito presso l'Università di Washington, ha sottolineato l'importanza che gli sviluppatori di intelligenza artificiale creino metodi che aiutino gli utenti a discernere quando è sicuro fare affidamento sui suggerimenti dell'intelligenza artificiale. Il sistema di onboarding automatizzato sviluppato dai ricercatori del MIT rappresenta un passo significativo verso il raggiungimento di questo obiettivo.
Il sistema di onboarding automatizzato sviluppato dai ricercatori del MIT e dal Watson AI Lab del MIT-IBM offre una soluzione promettente alla sfida di determinare quando gli utenti dovrebbero fidarsi delle raccomandazioni dell’IA. Fornendo un processo di onboarding completamente automatizzato, basato sui dati e adattabile, questo sistema ha il potenziale per migliorare la collaborazione uomo-intelligenza artificiale in vari campi, tra cui assistenza sanitaria, social media, scrittura e programmazione. Poiché l’intelligenza artificiale continua a svolgere un ruolo sempre più significativo nei processi decisionali, l’importanza di tali metodi di formazione non può essere sopravvalutata.