Nvidia ha presentato la piattaforma Cosmos, basata su modelli di mondo che gli sviluppatori di intelligenza artificiale fisica utilizzeranno per addestrare agenti di intelligenza artificiale per l'analisi video, veicoli autonomi (AV) e robot. L'azienda afferma che i modelli di mondo Cosmos utilizzano ragionamenti strutturati su immagini e video per "comprendere il mondo fisico come gli esseri umani".
L'azienda tecnologica ha affermato di supportare gli sviluppatori nella creazione di modelli fondamentali. Ha spiegato che la piattaforma Cosmos consente agli sviluppatori di personalizzare modelli pre-addestrati e pronti all'uso per modelli di intelligenza artificiale fisica specializzati. Nvidia si vanta che Cosmos utilizza una "comprensione spaziotemporale" del mondo fisico per elaborare dati che abilitano il processo decisionale nella robotica e nelle auto a guida autonoma.
L'azienda ha inoltre aggiunto che il framework Cosmos Curator ha consentito agli sviluppatori di filtrare, annotare e deduplicare enormi quantità di dati provenienti dai sensori. Gli sviluppatori utilizzano questi dati per creare set di dati personalizzati che soddisfano specifiche esigenze di intelligenza artificiale fisica. I modelli di Cosmos World Foundation possono anche generare dati per le pipeline a valle nello sviluppo di sistemi di visione industriale.
Cosmos è dotato di modelli di base Predict, Transfer e Reason
Secondo il team Nvidia, la piattaforma Cosmos integra il modello di previsione Predict, che consente agli sviluppatori di generare video continui fino a 30 secondi. I video vengono generati da input multimodali con rigorosa aderenza ai prompt.
Transfer è un modello multicontrollo che consente agli sviluppatori di simulare diversi ambienti e condizioni di illuminazione. L'azienda tecnologica ha inoltre affermato che Transfer può accelerare gli input 3D provenienti dai framework di simulazione fisica di intelligenza artificiale CARLA e Nvidia Isaac Sim per consentire un "aumento dei dati controllabile".
Nvidia ha dichiarato che Cosmos Reason utilizza un VLM (Vision Language Model) completamente personalizzabile, in grado di comprendere il mondo fisico reale come gli esseri umani. Reason supporta agenti di analisi video che comprendono le operazioni in spazi industriali e urbani. Gestisce i dati di training utilizzati per il processo decisionale.
L'azienda tecnologica ha rivelato che gli sviluppatori potrebbero sfruttare i modelli di base per generare dati per addestrare modelli di intelligenza artificiale in applicazioni industriali e robotiche, come robot di fabbrica, magazzini automatizzati e veicoli autonomi su autostrade o terreni accidentati.
Nvidia ha inoltre affermato che questi modelli fondamentali sono stati addestrati utilizzando set di dati non etichettati per generare nuovi dati basati sugli input degli utenti. Ha aggiunto che gli sviluppatori possono utilizzare questa generalizzabilità per perfezionare i modelli pre-addestrati utilizzando set di dati più piccoli per creare modelli personalizzati. Gli sviluppatori possono anche addestrare diverse macchine autonome a percepire e interagire con diversi ambienti.
Nvidia alimenta i "gemelli digitali"
L'azienda tecnologica ha annunciato il rilascio delle librerie Omniverse l'11 agosto. Nvidia ha aggiunto che le librerie sono basate sui suoi server RTX PRO e DGX Cloud, consentendo agli sviluppatori di creare gemelli digitali fisicamente accurati. I dati sintetici possono essere generati catturando e ricostruendo il mondo reale in simulazione per costruire agenti di intelligenza artificiale e addestrare modelli di intelligenza artificiale fisica.
Rev. Lebaredian, vicepresidente di Omniverse and Simulation Technologies presso Nvidia, ha affermato che la sua azienda è impegnata a consentire agli sviluppatori di realizzare i robot e i veicoli autonomi di domani. Ha spiegato che l'intelligenza artificiale e la computer grafica stanno convergendo per trasformare i principi di base della robotica. Lebaredian ritiene che queste tecnologie "trasformeranno migliaia di miliardi di dollari in settori industriali".
NVIDIA ha annunciato che le librerie Omniverse e gli SDK (Software Development Kit) sono ora disponibili per gli sviluppatori che desiderano creare e implementare applicazioni di simulazione robotica e intelligenza artificiale industriale. Gli SDK consentono l'interoperabilità dei dati tra OpenUSD (Universal Scene Description) e MJCF (MuJoCo) per consentire la simulazione di robot su più piattaforme. La tecnica "RTX ray-traced 3D Gaussian Splatting" consente inoltre agli sviluppatori di acquisire, ricostruire e simulare ambienti fisici nel mondo reale in 3D utilizzando i dati dei sensori.
Nvidia ha affermato che Figure AI, Skild AI, Boston Dynamics, RAI Institute, Hexagon e Lightwheel hanno adottato Omniverse e Isaac Suite (Sim e Lab) per accelerare i loro progetti di robotica basati sull'intelligenza artificiale. Anche Amazon Devices & Services ha utilizzato questi sistemi Nvidia per alimentare le sue più recenti soluzioni di produzione.
KEY Difference Wire : lo strumento segreto che i progetti crittografici usano per ottenere una copertura mediatica garantita