Microsoft Research ha appena lanciato la propria versione di un quartetto di heavy metal, strumenti che potenzieranno il futuro della compilazione dell'intelligenza artificiale.
Questi quattro compilatori di intelligenza artificiale, giustamente soprannominati “Roller”, “Welder”, “Grinder” e “Rammer” intendono ridefinire il modo in cui pensiamo all’efficienza di calcolo, all’utilizzo della memoria e al flusso di controllo all’interno dei modelli di intelligenza artificiale.
Gli strumenti AI accelerano drasticamente i tempi di compilazione
Roller, il primo di questi, cerca di sconvolgere lo status quo nella compilazione del modello di intelligenza artificiale, che spesso richiede giorni o settimane per essere completata. Il sistema reinventa il processo di partizionamento dei dati all'interno degli acceleratori. Il rullo funziona come un rullo compressore, posizionando meticolosamente i dati tensoriali ad alta dimensione sulla memoria bidimensionale, in modo simile alla piastrellatura di un pavimento.
Sei interessato a saperne di più sul chatbot AI di Microsoft, Bing? Clicca qui .
Il compilatore garantisce una compilazione più rapida con una buona efficienza di calcolo, concentrandosi su come utilizzare al meglio la memoria disponibile. Valutazioni recenti suggeriscono che Roller può generare kernel altamente ottimizzati in pochi secondi, superando i compilatori esistenti di tre ordini di grandezza.
Welder prende di mira il problema dell'efficienza della memoria insito nei moderni modelli DNN (Deep Neural Network). Il compilatore è progettato per rimediare al disallineamento tra l'utilizzo dei core di elaborazione e la larghezza di banda della memoria saturata.
Utilizzando una tecnica analoga alla produzione in catena di montaggio, Welder “salda” insieme diverse fasi del processo computazionale. Ciò riduce i trasferimenti di dati non necessari, migliorando così in modo significativo l'efficienza di accesso alla memoria .
I test sulle GPU NVIDIA e AMD indicano che le prestazioni di Welder superano i framework tradizionali, con accelerazioni che raggiungono 21,4 volte rispetto a PyTorch.
La smerigliatrice accelera i processi di 8 volte
Grinder si concentra su un altro aspetto cruciale: l’esecuzione efficiente del flusso di controllo. In parole povere, mira a rendere i modelli di intelligenza artificiale più intelligenti nel determinare cosa eseguire e quando. “Trasferendo” il flusso di controllo nel flusso di dati, Grinder migliora l’efficienza complessiva dei modelli con percorsi decisionali più complessi.
Vuoi diventare più produttivo? Il nostro team Learn fornisce una carrellata dei 18 migliori strumenti qui .
I dati sperimentali mostrano che Grinder raggiunge una velocità fino a 8,2 volte sui modelli DNN ad alta intensità di controllo, superando i framework esistenti.
Infine, Rammer lavora per massimizzare il parallelismo hardware. Questo si riferisce alla capacità dell'hardware di fare cose diverse contemporaneamente.
Questo quartetto di compilatori AI di Microsoft si basa su un'astrazione comune e una rappresentazione intermedia unificata, formando un set completo di soluzioni per affrontare il parallelismo, l'efficienza della compilazione, la memoria e il flusso di controllo.
Jilong Xue, ricercatore principale presso Microsoft Research Asia, ha dichiarato:
“I compilatori di intelligenza artificiale che abbiamo sviluppato hanno dimostrato un miglioramento sostanziale nell’efficienza della compilazione dell’intelligenza artificiale, facilitando così la formazione e l’implementazione dei modelli di intelligenza artificiale”.
Disclaimer
Il post Microsoft svela gli strumenti AI per migliorare l'efficienza computazionale e l'utilizzo della memoria è apparso per la prima volta su BeInCrypto .