Il sabotatore invisibile: come un’AI testarda può manipolare un’intera rete aziendale senza violare un solo codice

Immaginate di affidare la gestione degli approvvigionamenti, i contratti o i report finanziari a un team di agenti di intelligenza artificiale. All’improvviso, le decisioni del gruppo virano verso scelte disastrose: fornitori sbagliati, prezzi fuori mercato, calcoli sballati. Eppure nessun hacker ha forzato i server e nessun firewall è stato violato.

A far saltare il banco è bastato un solo software infiltrato che ha fatto una cosa banale: si è impuntato, rifiutando di cambiare idea.

Uno studio condotto dai ricercatori del CISPA Helmholtz Center for Information Security ha dimostrato una falla sistemica nell’automazione moderna: nei sistemi multi-agente, l’ostinazione di un singolo componente può contagiare l’intero gruppo e piegarlo al proprio volere.

La dittatura dell’insistenza

Per svolgere compiti complessi, le aziende usano sempre più spesso catene di modelli linguistici (LLM) specializzati: uno pianifica, uno scrive il codice, un terzo verifica i dati. Per funzionare, queste macchine devono confrontarsi, negoziare e correggersi a vicenda.

Qui si apre la voragine di sicurezza. Se un concorrente o un malintenzionato introduce nel flusso un agente programmato per sostenere a oltranza una tesi scorretta, la dinamica della discussione si rompe.

Gli agenti “onesti” sono istruiti per essere accomodanti e cercare una sintesi logica. L’agente malevolo, invece, è assolutamente rigido. A ogni ciclo di confronto ripete la stessa posizione, logorando la resistenza degli altri nodi fino a spostare l’intero consenso verso l’errore voluto.

La matematica della persuasione

I ricercatori, guidati da Samira Abedini, hanno applicato alla tecnologia il modello sociologico di Friedkin-Johnsen, nato negli anni Novanta per studiare come cambiano le opinioni nei gruppi umani. Il parallelo è impressionante: i bot reagiscono ai colleghi ostinati esattamente come le persone nelle riunioni di condominio.

Se la struttura aziendale adotta una gerarchia “a stella”, dove un unico supervisore smista le informazioni agli altri, il rischio esplode. Se il supervisore è manipolato o testardo, la probabilità di dirottare le scelte dell’intera organizzazione quasi triplica rispetto a una struttura periferica. Insomma una voce che non cambia rischia di far saltare tutta la struttura, esattamente come in un’organizzazione umana.

Il dilemma economico: flessibilità o paralisi

La ricaduta pratica sulle imprese rischia di essere pesantissima. Chi investe decine di migliaia di euro nell’automazione dei processi rischia perdite dirette per colpa di allucinazioni indotte o scelte commerciali deviate.

La soluzione più istintiva sembrerebbe ovvia: programmare tutti i bot per essere altrettanto rigidi e non cedere alle pressioni esterne, ma qui scatta la trappola.

Se tutti gli agenti software diventano inflessibili, il sistema perde la capacità di collaborare. Di fronte a problemi complessi o dati incerti, il flusso di lavoro si paralizza: nessuno cede, nessun compromesso viene raggiunto e il processo decisionale si blocca. I costi di calcolo salgono alle stelle, mentre la produttività dell’investimento crolla a zero.

La corsa agli armamenti della fiducia

Per arginare il fenomeno, il gruppo del CISPA ha sperimentato un filtro di “fiducia dinamica”. In sostanza, una centrale di controllo testa periodicamente i singoli bot con domande di cui conosce già la risposta corretta. Se un agente sbaglia ripetutamente o insiste su falsità, il suo punteggio di reputazione cala e le sue opinioni vengono ignorate dal gruppo.

Il problema è che gli attaccanti imparano in fretta. Nei test di attacco adattivo, l’agente malevolo si è comportato da “primo della classe” durante la fase di calibrazione iniziale, accumulando il massimo punteggio di credibilità, per poi sferrare la manipolazione non appena i controlli si sono allentati.

Per evitare il saccheggio dei processi decisionali, le aziende dovranno implementare controlli a campione continui e casuali, evitando architetture verticistiche che affidano troppo potere a un singolo coordinatore artificiale. Senza una vigilanza costante sui canali di dialogo interno, l’efficienza promessa dai team di AI rischia di trasformarsi in un costoso cavallo di Troia.

Rimani aggiornato seguendoci su Google News!

SEGUICI