Martedì Cerebras Systems ha annunciato una soluzione di inferenza AI per gli sviluppatori. Secondo quanto affermato dall'azienda, si tratta di una soluzione di inferenza molto più veloce, 20 volte più veloce delle offerte di Nvidia.
Cerebras fornirà l'accesso ai suoi chip più grandi per eseguire applicazioni AI che, secondo l'azienda, sono anche più economiche delle GPU Nvidia. Spesso si accede alle GPU Nvidia standard del settore tramite fornitori di servizi cloud per eseguire modelli linguistici di grandi dimensioni come ChatGPT. Ottenere l’accesso di solito non è facile per molte piccole imprese ed è costoso.
Cerebras afferma che i suoi nuovi chip possono offrire prestazioni che vanno oltre le GPU
L'inferenza dell'intelligenza artificiale è il processo di utilizzo di un modello di intelligenza artificiale già addestrato per ottenere un output, come risposte dai chatbot e risoluzione di diversi compiti. I servizi di inferenza sono la spina dorsale delle odierne applicazioni IA, poiché si basano su di essi per le operazioni quotidiane per facilitare gli utenti.
Cerebras ha affermato che l’inferenza è il segmento in più rapida crescita del settore dell’intelligenza artificiale poiché rappresenta il 40% di tutti i carichi di lavoro relativi all’intelligenza artificiale nel cloud computing. Il CEO di Cerebras, Andrew Feldman, ha affermato che i chip fuori misura dell'azienda offrono più prestazioni di una GPU. Le GPU non possono raggiungere questo livello, ha detto. Feldman ha parlato con Reuters in un'intervista.
Ha aggiunto,
"Lo facciamo con la massima precisione e lo offriamo al prezzo più basso." Fonte: Reuters .
Il CEO ha affermato che i servizi di inferenza AI esistenti non sono soddisfacenti per tutti i clienti. Ha detto a un gruppo separato di giornalisti a San Francisco che l'azienda sta "osservando ogni tipo di interesse" per soluzioni più veloci ed economiche.
Fino ad ora, Nvidia ha dominato il mercato dell’informatica AI con i suoi chip standard e l’ambiente di programmazione CUDA (Compute Unified Device Architecture). Ciò ha aiutato Nvidia a bloccare gli sviluppatori all'interno del suo ecosistema fornendo una vasta gamma di strumenti.
I chip Cerbras hanno 7000 volte più memoria delle GPU Nvidia H100
Cerebras ha affermato che il suo servizio di inferenza ad alta velocità rappresenta un punto di svolta per il settore dell’intelligenza artificiale. I nuovi chip dell'azienda, grandi quanto piatti piani, si chiamano Wafer Scale Engines. Possono elaborare 1000 token al secondo, che secondo la società è paragonabile all'introduzione di Internet a banda larga.
Secondo l’azienda, i nuovi chip forniscono quantità diverse di output per i vari modelli di intelligenza artificiale. Per Llama 3.1 8B, i nuovi chip possono elaborare fino a 1800 token al secondo, mentre per Llama 3.1 70B possono elaborare 450 token al secondo.
Cerebras offre servizi di inferenza a 10 centesimi per un milione di token, che è inferiore a quelli basati su GPU. Di solito, secondo le convinzioni del settore, approcci alternativi compromettono la precisione a scapito delle prestazioni, mentre i nuovi chip Cerebras sono in grado di mantenere la precisione, secondo quanto affermato dall'azienda.
Cerebras ha affermato che offrirà prodotti di inferenza AI in diverse forme. L'azienda prevede di introdurre un servizio di inferenza tramite il proprio cloud e una chiave per sviluppatore. L'azienda venderà i nuovi chip anche ai clienti dei data center e a coloro che desiderano gestire i propri sistemi.
I nuovi chip Wafer Scale Engine hanno i propri moduli integrati di raffreddamento e erogazione di energia e fanno parte di un sistema di data center Cerebras chiamato CS-3. Secondo diversi rapporti , il sistema Cerebras CS-3 è la spina dorsale del servizio di inferenza dell'azienda.
Il sistema vanta una capacità di memoria 7000 volte maggiore rispetto alle GPU Nvidia H100. Ciò risolve anche il problema fondamentale della larghezza di banda della memoria, che molti produttori di chip stanno cercando di risolvere.
Cerbras sta anche lavorando per diventare una società quotata in borsa. Per fare ciò, questo mese ha depositato un prospetto riservato presso la Securities and Exchange Commission (SEC).