Chainbase ha rilasciato il modello AI open source, Theia-Llama-3.1-8B. È un modello linguistico incentrato sulle criptovalute.
L'azienda aveva lanciato una versione alpha del chatbot chiamata TheiaChat in agosto. È stato rilasciato all'epoca per rivelare le caratteristiche di Theia.
La formazione di Theia proveniva da due fonti
I dati utilizzati per addestrare il modello sono stati presi da CoinMarketCap e altri rapporti di ricerca. I dati di CoinMarketCap utilizzati per addestrare e mettere a punto Theia-Llama-3.1-8B includono documenti di progetto come white paper, post di blog ufficiali e articoli di notizie.
I rapporti di ricerca sono stati ottenuti da fonti online credibili per fornire approfondimenti sui fondamenti del progetto, sull'influenza del mercato e sui progressi dello sviluppo.
Il post sul blog spiega ulteriormente che i dati provenienti da queste due fonti primarie sono stati sottoposti anche a filtri manuali e algoritmici per ridurre la ridondanza ed eliminare gli errori.
Chainbase ha inoltre utilizzato tecniche sofisticate per mettere a punto e ottimizzare il modello. Il team ha utilizzato LoRA (Low-Rank Adaptation) per un'efficiente messa a punto. Ciò ha aiutato ad adattare il modello base Llama-3.1-8B-Instruct al dominio della criptovaluta.
Il processo di formazione è stato migliorato utilizzando LLaMA Factory e DeepSpeed, incorporando tecniche avanzate come ZeRO, offload, scarsa attenzione, Adam a 1 bit e parallelismo della pipeline per accelerare la formazione e ridurre l'utilizzo della memoria.
Oltre alla messa a punto, Chainbase ha ottimizzato il modello per prepararlo per una distribuzione efficiente. Questo processo di quantizzazione riduce l'ingombro della memoria del modello e accelera l'inferenza mantenendo una precisione accettabile.
Chainbase ha proposto un benchmark del modello di intelligenza artificiale crittografica
Per valutare le prestazioni di Theia-Llama-3.1-8B, Chainbase ha proposto un benchmark per i modelli di intelligenza artificiale crittografica.
Il benchmark valuta i modelli su sette dimensioni, tra cui la comprensione e la generazione della conoscenza crittografica, la copertura della conoscenza e le capacità di ragionamento.
I risultati dei benchmark iniziali incentrati sulle capacità di comprensione e generazione nel dominio crittografico mostrano che Theia-Llama-3.1-8B supera gli altri 11 LLM. Ciò include modelli popolari di OpenAI, Google, Meta, Qwen e DeepSeek. Il modello ha ottenuto un punteggio di perplessità di 1,184 e un punteggio BERT di 0,861, superando i modelli tradizionali attualmente sul mercato.
Chainbase ha inoltre affermato nel suo post sul blog che le prestazioni di Theia-Llama-3.1-8B superano quelle dei modelli tradizionali attualmente disponibili sul mercato. "Successivamente, costruiremo modelli più grandi e valuteremo più dimensioni dei modelli", ha affermato Chainbase.