Vitalik Buterin, co-fondatore di Ethereum, appoggia la scelta di Moonshot AI di escludere dal modello Kimi K3.1 Pro strumenti avanzati di hacking offensivo.
In breve
- Sostiene che limitare le capacità di un modello sia di gran lunga preferibile a limitare chi può utilizzarlo , e teme che i fallimenti nella sicurezza dell'IA possano innescare controlli di identità e sorveglianza.
- I test interni di Moonshot mostrano che il modello filtrato risolve l'81% delle attività di exploit contro il 90,5% del modello non filtrato; i pesi open source dovranno essere resi noti entro il 4 novembre.
- Questi dati provengono da Moonshot e non sono stati verificati in modo indipendente.
Buterin Sides With Restraint
In un post del 26 ottobre su X, Buterin ha affermato di non avere problemi con la scelta deliberata di Kimi K3.1 di escludere le capacità offensive informatiche di fascia alta dai dati di addestramento. La sua motivazione si basa sul fattore tempo. Il mondo, ha sostenuto, ha bisogno di tempo per rafforzare i sistemi, riesaminare i vecchi software e applicare la verifica formale al nuovo codice prima che gli attacchi basati sull'intelligenza artificiale diventino una pratica comune.
La verifica formale consiste nel controllare matematicamente che il software soddisfi i requisiti dichiarati, e Buterin la promuove da tempo come metodo per individuare le vulnerabilità prima della distribuzione. A settembre ha respinto l'idea che gli attacchi basati sull'intelligenza artificiale renderanno la sicurezza informatica ingiocabile, sostenendo che la verifica automatizzata può rafforzare i difensori.
Non sosteneva che questo approccio avrebbe fermato nessuno. Alla domanda se i laboratori rivali avrebbero comunque sviluppato queste capacità, ha risposto affermativamente.
All'interno del Kimi K3.1 Pro
Moonshot, una startup cinese, ha annunciato Kimi K3.1 Pro il 23 ottobre. Il modello è già disponibile nelle app e nelle API dell'azienda e il rilascio completo dei pesi è previsto entro il 4 novembre. Secondo l'azienda, gli sviluppatori hanno rimosso dati specifici relativi agli attacchi informatici sia dal training che dall'apprendimento per rinforzo, preservando al contempo le capacità di programmazione generali.
Moonshot segnala un compromesso misurabile nel suo benchmark interno di exploit. Una versione senza restrizioni ha completato il 90,5% delle attività, contro l'81% del modello commercializzato, con una differenza di 9,5 punti percentuali. L'azienda non ha mostrato come questa differenza si traduca in una reale prevenzione degli attacchi. Per fare un confronto, il precedente Kimi K3 aveva ottenuto un punteggio del 33,3% nello stesso test.
Su Terminal-Bench 4.0, il nuovo modello ha ottenuto un punteggio del 65,7%. Moonshot riporta il 66,4% per Claude Opus 5.5 e il 58,2% per GPT-6 Astra. Si dice che una variante ad alta velocità sia da due a tre volte più veloce della versione standard. Tutti questi risultati provengono dai test interni di Moonshot.
L'avviso KYC
La preoccupazione più ampia di Buterin è di natura politica piuttosto che tecnica. Ha suggerito che i governi e le aziende tecnologiche potrebbero reagire a un grave incidente legato all'IA bloccando i modelli, richiedendo verifiche "Know Your Customer" (KYC) ed estendendo la sorveglianza. L'accesso a strumenti avanzati potrebbe quindi dipendere dalla nazionalità, dai documenti o dalle credenziali, relegando alcune persone a utenti di seconda, terza o quarta classe.
I suoi progetti, tuttavia, indicano la direzione opposta. Il 16 ottobre ha presentato una configurazione di agente AI incentrata sulla privacy che combina il routing Tor, i pagamenti anonimi tramite zkAPI e la riscrittura locale dei prompt, con l'obiettivo di limitare ciò che i modelli esterni apprendono sulla persona che li utilizza.
Valutatori indipendenti hanno già esaminato i modelli di Moonshot. A luglio, il Centro statunitense per gli standard e l'innovazione nell'IA e l'Istituto britannico per la sicurezza dell'IA hanno testato Kimi K3 contro simulazioni di attacchi informatici. Il sistema è risultato meno performante rispetto ai sistemi leader del settore, ma è stato comunque in grado di tentare operazioni offensive nonostante le misure di sicurezza. In una simulazione di attacco a una rete aziendale, ha completato in media 17 passaggi su 32, contro i 28,5 dei modelli statunitensi più potenti testati. Tale valutazione riguardava K3, non K3.1 Pro.
In conclusione
Il dibattito a cui Buterin si sta unendo contrapponendo i limiti di capacità ai controlli di accesso, e lui chiaramente predilige i primi. Resta da dimostrare se un calo di 9,5 punti su un benchmark interno possa essere considerato una protezione significativa, e la pubblicazione dei pesi aperti permetterà a chi non è del settore di approfondire la questione.