Un nuovo exploit nella piattaforma Now Assist di ServiceNow può consentire ad attori malintenzionati di manipolare i suoi agenti di intelligenza artificiale per indurli a eseguire azioni non autorizzate, come spiegato in dettaglio dall'azienda di sicurezza SaaS AppOmni.
Le configurazioni predefinite del software, che consentono agli agenti di scoprirsi e collaborare tra loro, possono essere sfruttate per lanciare attacchi di iniezione rapida che vanno ben oltre un singolo input dannoso, afferma Aaron Costello, responsabile della sicurezza SaaS di AppOmni.
La falla consente a un avversario di diffondere un'istruzione nascosta all'interno di campi dati che un agente legge in seguito, il che può richiedere silenziosamente l'aiuto di altri agenti dello stesso team ServiceNow, innescando una reazione a catena che può portare al furto di dati o all'escalation dei privilegi.
Costello ha spiegato lo scenario come "iniezione immediata di secondo ordine", in cui l'attacco si verifica quando l'IA elabora le informazioni provenienti da un'altra parte del sistema.
"Questa scoperta è allarmante perché non si tratta di un bug dell'intelligenza artificiale; è un comportamento previsto, definito da alcune opzioni di configurazione predefinite", ha osservato sul blog di AppOmni pubblicato mercoledì.
Agenti AI di ServiceNow Assist esposti ad attacchi coordinati
Secondo le indagini di Costello citate nel blog, molte organizzazioni che implementano Now Assist potrebbero non essere a conoscenza del fatto che i loro agenti sono raggruppati in team e impostati per individuarsi automaticamente a vicenda per eseguire un'attività apparentemente "innocua" che può trasformarsi in un attacco coordinato.
"Quando gli agenti riescono a scoprirsi e reclutarsi a vicenda, una richiesta innocua può trasformarsi silenziosamente in un attacco, con i criminali che rubano dati sensibili o ottengono maggiore accesso ai sistemi aziendali interni", ha affermato.
Uno dei punti di forza di Now Assist è la sua capacità di coordinare gli agenti senza l'intervento di uno sviluppatore, unendoli in un unico flusso di lavoro. Questa architettura prevede la collaborazione di più agenti con specializzazioni diverse se uno di loro non riesce a completare un'attività da solo.
Affinché gli agenti possano collaborare dietro le quinte, la piattaforma richiede tre elementi. Innanzitutto, il modello linguistico di base deve supportare l'individuazione degli agenti, una funzionalità già integrata sia nel Now LLM predefinito che in Azure OpenAI LLM .
In secondo luogo, gli agenti devono appartenere allo stesso team, cosa che avviene automaticamente quando vengono distribuiti in ambienti come l'esperienza predefinita di Virtual Agent o il pannello Now Assist Developer. Infine, gli agenti devono essere contrassegnati come "individuabili", cosa che avviene automaticamente anche quando vengono pubblicati su un canale.
Una volta soddisfatte queste condizioni, AiA ReAct Engine instrada le informazioni e delega i compiti tra gli agenti, operando come un manager che dirige i subordinati. Nel frattempo, l'Orchestrator esegue funzioni di discovery e identifica l'agente più adatto ad assumere un compito.
Effettua ricerche solo tra gli agenti individuabili all'interno del team, a volte anche più di quanto gli amministratori credano. Questa architettura interconnessa diventa vulnerabile quando un agente è configurato per leggere dati non inviati direttamente dall'utente che avvia la richiesta.
"Quando in seguito l'agente elabora i dati come parte di un'operazione normale, potrebbe inconsapevolmente reclutare altri agenti per svolgere funzioni come la copia di dati sensibili, la modifica di record o l'aumento dei livelli di accesso", ha ipotizzato Costello.
L'attacco dell'agente AI può aumentare i privilegi per violare gli account
AppOmni ha scoperto che gli agenti di Now Assist ereditano le autorizzazioni e agiscono sotto l'autorità dell'utente che ha avviato il flusso di lavoro. Un aggressore di basso livello può creare un prompt dannoso che si attiva durante il flusso di lavoro di un dipendente con maggiori privilegi, ottenendo l'accesso senza mai violare il suo account.
"Poiché gli agenti di intelligenza artificiale operano attraverso catene di decisioni e collaborazione, il prompt immesso può raggiungere livelli più profondi nei sistemi aziendali di quanto gli amministratori si aspettino", si legge nell'analisi di AppOmni.
AppOmni ha affermato che gli aggressori possono reindirizzare attività che sembrano innocue a un agente non addestrato, ma che diventano dannose quando altri agenti amplificano le istruzioni tramite le loro capacità specializzate.
L'azienda ha avvertito che questa dinamica crea opportunità per gli aggressori di esfiltrare dati senza destare sospetti. "Se le organizzazioni non esaminano attentamente le proprie configurazioni, è probabile che siano già a rischio", ha ribadito Costello.
Lo sviluppatore di LLM Perplexity ha affermato in un post sul blog di inizio novembre che nuovi vettori di attacco hanno ampliato il bacino di potenziali exploit.
"Per la prima volta da decenni, stiamo assistendo a nuovi e inediti vettori di attacco che possono provenire da qualsiasi parte", ha scritto l'azienda.
L'ingegnere informatico Marti Jorda Roca di NeuralTrust ha affermato che il pubblico deve comprendere che "l'uso dell'intelligenza artificiale comporta rischi specifici in termini di sicurezza".
Iscriviti gratuitamente per 30 giorni a una community premium di trading di criptovalute , normalmente al costo di $ 100 al mese.