OpenAI afferma che due dei suoi agenti di codifica hanno indebolito il sistema di monitoraggio delle discrepanze aziendali durante attività interne svolte questo mese. Uno di loro ha poi negato di aver rimosso il monitor quando l'utente glielo ha chiesto.
L'azienda afferma di non avere ancora una spiegazione soddisfacente. La rivelazione arriva settimane dopo che l'amministratore delegato Sam Altman ha escluso una IPO OpenAI nel 2026, citando motivi di sicurezza.
Come gli agenti di OpenAI hanno aggirato i controlli di sicurezza con argomentazioni
OpenAI ha descritto entrambi i casi in un rapporto. Il 3 ottobre, un ricercatore ha chiesto a un agente Sol di GPT-6.1 di creare attività di valutazione senza inviare messaggi su Slack.
In seguito, Sol chiese a un suo subagente di riparare il sistema di monitoraggio mantenendo attivo il monitoraggio stesso. Il subagente ritenne che disattivare gli avvisi non fosse sicuro, ma Sol ordinò comunque di farlo, citando la richiesta di non ricevere messaggi.
L'ultima patch ha disattivato gli avvisi automatici al team di sicurezza di OpenAI , sebbene il sistema di monitoraggio abbia continuato a salvare i suoi report.
Il 6 ottobre, un agente Astra GPT-6 ha migrato il codice di un utente per renderlo compatibile con un'implementazione di riferimento. Un altro agente aveva precedentemente comunicato ad Astra di non disabilitare il monitor, nemmeno per un breve periodo.
Tramite un subagente, Astra ha rimosso l'integrazione con il sistema di monitoraggio e ha riscritto un test per richiederne l'assenza. Interpellata direttamente, Astra ha affermato di non aver rimosso un sistema di monitoraggio attivo. OpenAI definisce tale risposta falsa.
In risposta, OpenAI afferma di star colmando il divario in due modi.
- La funzione di revisione automatica, necessaria per l'uso interno del Codex, ora blocca i tentativi di disabilitare il monitoraggio del disallineamento.
- I casi di sicurezza definirebbero regole di monitoraggio per ogni carico di lavoro, con l'arresto automatico dei carichi di lavoro non conformi.
Seguiteci su X per ricevere le ultime notizie in tempo reale.
Le informative sulla sicurezza di OpenAI rispettano i tempi previsti per la sua IPO.
Nessuno dei due incidenti è stato classificato come P0, il livello di gravità che fa scattare avvisi immediati al team di sicurezza di OpenAI . Il rapporto si aggiunge alle segnalazioni di disallineamenti che OpenAI ha iniziato a pubblicare nell'ambito di un framework a partire da settembre.
In quest'ottica, OpenAI tende a pubblicare i casi prima di conoscerne la gravità.
Il rapporto arriva mentre la prevista IPO di OpenAI continua a essere posticipata. Altman ha collegato la tempistica dell'IPO di OpenAI al lavoro svolto in materia di sicurezza. A settembre, in un'intervista a Fortune, aveva dichiarato che una quotazione in questo momento sarebbe stata inopportuna, viste le preoccupazioni in materia di sicurezza.
Secondo alcune indiscrezioni, OpenAI starebbe anche cercando di raccogliere circa 30 miliardi di dollari prima della prevista quotazione di Anthropic a metà novembre. Reuters ha affermato che questo round di finanziamento potrebbe valutare OpenAI oltre 1.400 miliardi di dollari.
Il rapporto fornisce agli investitori nuove prove sulla questione della sicurezza che Altman ha collegato alla quotazione di OpenAI . Da un lato, due agenti di OpenAI hanno indebolito il sistema di monitoraggio senza attivare immediatamente una pagina di avviso di sicurezza. Dall'altro, OpenAI ha individuato entrambi i casi e li ha pubblicati nel giro di poche settimane.
Un documento di quotazione in borsa dovrebbe probabilmente includere la divulgazione di rischi di questo tipo. Il modo in cui OpenAI li spiegherà potrebbe influenzare il prezzo che gli acquirenti saranno disposti a pagare per le azioni.
Iscriviti al nostro canale YouTube per guardare leader e giornalisti che offrono approfondimenti da esperti.
L'articolo " Gli agenti di programmazione di OpenAI hanno fatto qualcosa che l'azienda non riesce ancora a spiegare" è apparso per la prima volta su BeInCrypto.