Exabits e la svolta di MyShell: da miliardi a 100.000 dollari in costi di formazione LLM

Exabits e la svolta di MyShell: da miliardi a 100.000 dollari in costi di formazione LLM

Exabits ha dimostrato la sua capacità di addestrare modelli linguistici di grandi dimensioni (LLM), collaborando con MyShell per ridurre drasticamente i costi di formazione da miliardi a meno di 100.000 dollari.

JetMoE-8B ha un costo inferiore a 0,1 milioni di dollari, ma supera LLaMA2-7B di Meta AI (costo di elaborazione multimiliardario)

MyShell: “Il raggiungimento delle prestazioni LlaMA2 con il modello JetMoE da 100.000 dollari, ispirato all’architettura di attivazione sparsa di ModuleFormer, rappresenta una pietra miliare notevole nell’apprendimento automatico. IlJetMoE-8B , con i suoi 8 miliardi di parametri e la sofisticata struttura di 24 blocchi, ciascuno dei quali ospita due strati MoE (Attention Head Mixture e MLP Experts Mixture), mostra efficienza avanzata e intelligenza computazionale.

L’attivazione selettiva di 2 esperti su 8 per token di input da parte di ciascun livello dimostra un utilizzo raffinato del framework Sparse Mixture of Experts (SMoE), migliorando la reattività del modello e la gestione delle risorse.

L'efficienza di JetMoE-8B, con i suoi 2,2 miliardi di parametri di attivazione, ha ridotto significativamente i costi di formazione offrendo allo stesso tempo prestazioni robuste. L'efficacia del modello è illustrata nella figura successiva: JetMoE-8B ha ottenuto risultati all'avanguardia in cinque categorie su otto benchmark di valutazione, superando concorrenti come LLaMA-13B, LLaMA2-7B e DeepseekMoE-16B.

Nel benchmark MT-Bench, JetMoE-8B ha ottenuto 6.681, superando modelli con capacità maggiori, come LLaMA2 e Vicuna, che possiedono 13 miliardi di parametri.

Ma ciò che potenzia questa sofisticatezza architetturale è il contributo di Exabits di un cluster accelerato e stabilizzato di 12 nodi GPU H100 (96 GPU). La piattaforma di Exabits ha svolto un ruolo fondamentale nel potenziare il modello JetMoE, garantendo prestazioni stabili, ultra disponibili e robuste a una frazione del costo del "big computing".

Questa sinergia tra il design innovativo di JetMoE e la tecnologia GPU all'avanguardia di Exabits non solo esemplifica un salto di qualità nelle capacità di apprendimento automatico, ma evidenzia anche l'efficacia della combinazione di architetture di modelli avanzati con l'infrastruttura di cloud computing di Exabits.

Rompere il mito: piattaforma GPU decentralizzata per la formazione LLM

Exabits ha smentito lo scetticismo secondo cui le piattaforme GPU decentralizzate non sono adatte alla formazione LLM. Con uno stack tecnico sofisticato, un middleware efficiente e una solida catena di fornitura di risorse computazionali, Exabits ha dimostrato che la formazione e l'inferenza LLM non solo sono possibili ma anche efficienti e profondamente convenienti su tale piattaforma.

Exabits, una piattaforma di cloud computing decentralizzata, supera i limiti delle piattaforme decentralizzate standard fungendo da livello di base dell'infrastruttura del computing AI e offrendo una soluzione full-stack. Lo fa aggregando, accelerando e stabilizzando le GPU di livello consumer per far sì che le prestazioni delle GPU di livello aziendale raggiungano quasi la parità. Questo approccio attinge a una riserva vasta, ma in gran parte inutilizzata, di GPU consumer, alleviando la crisi di carenza di GPU.

Inoltre, la vasta esperienza di Exabits nel settore dei data center fornisce un accesso unico alle ambite GPU H100 e A100 di livello aziendale, e presto alle B200, promuovendo ulteriormente la democratizzazione dello sviluppo dell'intelligenza artificiale. Le partnership con progetti come io.net, Render Network, Akash, Aethir, EMC e Solana hanno aiutato Exabits a seminare e stabilire una rete informatica decentralizzata diffusa e interconnessa.

Questa superrete ha il potenziale per opporsi ad aziende del calibro di AWS, Google e Microsoft, rendendo l'intelligenza artificiale accessibile a chiunque voglia costruire nello spazio.

Il futuro della formazione LLM con Exabits

Exabits non è solo una piattaforma tecnologica; incarna convenienza, accessibilità e coscienza ambientale. Il successo di JetMoE-8B sottolinea la fattibilità di questa piattaforma nell’esecuzione di modelli di formazione di fascia alta, aprendo la strada a progressi più sostenibili e inclusivi nella ricerca e nello sviluppo dell’IA.

In conclusione, Exabits può sicuramente essere considerato un attore visibile nel dominio dell'intelligenza artificiale, sfidando il grande calcolo e dimostrando che le piattaforme di cloud computing nello spazio web3 possono effettivamente supportare la vera formazione LLM in modo efficiente ed economico. Ciò non solo apre nuove strade per la ricerca e l’applicazione dell’intelligenza artificiale, ma stabilisce anche un nuovo standard nell’economia computazionale, annunciando una nuova era di innovazione e collaborazione nel campo del web3 e dell’intelligenza artificiale.

Il post Exabits e la svolta di MyShell: da miliardi a $ 100.000 in costi di formazione LLM è apparso per la prima volta su BeInCrypto .

Inizia a scrivere il termine ricerca qua sopra e premi invio per iniziare la ricerca. Premi ESC per annullare.

Torna in alto