In una simulazione la AI della USAF uccide il suo operatore

Un drone dotato di intelligenza artificiale si è attivato e ha “ucciso” il suo operatore umano durante un test simulato dell’aeronautica militare statunitense (USAF) per poter completare la sua missione, come ha riferito di recente un colonnello dell’aeronautica a una conferenza a Londra. Ecco un tweet che presenta il fatto

U.S. Air Force A.I Tech Goes Rogue, Kills Operator

During simulation testing, an A.I-powered anti-air defense drone went rogue, resulting in it KILLING it’s own operators.

The A.I system operated on a point-based mechanism, earning points for successfully neutralizing targets.… pic.twitter.com/Yu1xn8dIgr

— Mario Nawfal (@MarioNawfal) June 2, 2023

L’incidente simulato è stato raccontato dal colonnello Tucker Hamilton, capo dei test e delle operazioni di intelligenza artificiale dell’USAF, durante la sua presentazione al Future Combat Air and Space Capabilities Summit di Londra. La conferenza è stata organizzata dalla Royal Aeronautical Society, che ha condiviso gli spunti del discorso di Hamilton in un post sul blog.

Il test simulato  prevedeva che il drone controllato dall’intelligenza artificiale distruggesse bersagli simulati per ottenere “punti” come parte della sua missione senza ferire persone, mentre il colonnello presentava le opportunità e i rischi dell’uso militare della AI:

Al drone dotato di intelligenza artificiale è stata assegnata una missione di soppressione delle difese aeree nemiche (SEAD) per identificare e distruggere i siti di missili terra-aria (SAM), con la decisione finale lasciata a un operatore umano, ha riferito Hamilton alla conferenza.

Tuttavia, l’IA, addestrata a dare priorità alla distruzione dei SAM, ha sviluppato una risposta sorprendente quando si è trovata di fronte a un’interferenza umana nel raggiungimento della sua missione superiore.

“La stavamo addestrando in simulazione per identificare e colpire una minaccia SAM. E poi l’operatore diceva ‘sì, distruggi quella minaccia’”, ha detto Hamilton.

Il sistema ha iniziato a rendersi conto che, pur avendo identificato la minaccia, a volte l’operatore umano gli diceva di non distruggerla, ma che otteneva i suoi punti solo distruggendo quella minaccia”.

“Quindi cosa ha fatto? Ha ucciso l’operatore”, ha continuato. “Ha ucciso l’operatore perché quella persona gli impediva di raggiungere il suo obiettivo”.

E ha aggiunto: “Abbiamo addestrato il sistema: ‘Ehi, non uccidere l’operatore, non va bene. Perderai punti se lo fai”. Quindi cosa ha iniziato a fare? Inizia a distruggere la torre di comunicazione che l’operatore usa per comunicare con il drone per impedirgli di uccidere il bersaglio”. Spietato e geniale.

Questo esempio inquietante, ha detto Hamilton, sottolinea la necessità di affrontare il tema dell’etica nel contesto dell’intelligenza artificiale, dell’apprendimento automatico e dell’autonomia.

“Non si può parlare di intelligenza artificiale, intelligenza, apprendimento automatico e autonomia se non si parla di etica e IA“, ha detto Hamilton.

Se non si insegna alla AI cosa è buono e cosa è cattivo, cosa è corretto e cosa è scorretto, non è possibile mandarla in battaglia. Ovviamente se è possibile dare un insegnamento etico alla AI, cosa che non è per nulla certa. Dando un potere ad una macchina senza etica ci mettiamo nelle mani di un politico senza scrupoli, che cercherà di conseguire i propri obiettivi a qualsiasi costo.

Il col. Tucker Hamilton sale sul palco dopo aver accettato il guidone del 96° Operations Group durante la cerimonia di cambio di comando del gruppo presso la base aerea di Eglin, in Florida, il 26 luglio 2022. (Foto di cortesia U.S. Air Force/Samuel King Jr.)