Allucinazioni AI nell’intelligence militare: USA pronti ad attaccare nave cinese

Uno sviluppo di rilievo scuote i mercati delle criptovalute. Un’allucinazione generata da un chatbot ha rischiato di far scoppiare un conflitto militare tra Stati Uniti e Cina. Secondo una ricostruzione riportata da CNN e ripresa da e Ars Technica, un rapporto di intelligence statunitense ha identificato erroneamente il carico di una nave cinese come componenti per un programma di armi nucleari, e il caso mostra in modo netto quanto siano concreti i rischi delle allucinazioni AI nell’intelligence militare quando i sistemi generativi vengono usati per decisioni che possono portare all’uso della forza. Punti chiave Un chatbot ha fuso intelligence open-source e segnali classificati, producendo un rapporto errato su una nave cinese sospettata di trasportare materiale nucleare Aerei militari statunitensi erano già in volo, pronti a intercettare e abbordare la nave con supporto aereo, prima che l’errore venisse scoperto Il Dipartimento della Difesa ha lanciato a gennaio una strategia di accelerazione AI per integrare dati sensibili in tutti i sistemi militari La piattaforma GenAI.

mil del Pentagono usa Google Gemini for Government e Grok for Government; Anthropic è stata inserita in una blacklist a marzo per essersi opposta all’uso dei suoi modelli in armi autonome Oltre 1,5 milioni di membri del personale della Difesa USA hanno già utilizzato strumenti di AI generativa Un’allucinazione dell’AI nell’intelligence militare ha quasi scatenato un attacco USA contro una nave cinese L’episodio, secondo quattro fonti citate da CNN, risale a un periodo di forte tensione, durante la guerra con l’Iran. Un analista dello US Special Operations Command aveva interrogato un chatbot per incrociare dati di intelligence sul manifesto di carico di una nave cinese. Il risultato: il sistema ha fuso insieme informazioni open-source e segnali di intelligence classificati custoditi dal governo, producendo un rapporto che indicava il trasporto di componenti per un programma nucleare attraverso il Medio Oriente.

Dinamiche di mercato

A quel punto la macchina militare si è mossa. Gli aerei erano già in volo e le forze statunitensi si preparavano a intercettare e abbordare la nave con supporto aereo. Solo all’ultimo momento gli ufficiali si sono accorti che il chatbot aveva identificato in modo errato il materiale trasportato.

Una fonte ha raccontato a CNN che il pasticcio generato dall’AI “quasi ha fatto scoppiare una guerra”. Perché conta questo dettaglio: non si tratta di un errore isolato in un contesto accademico o giornalistico, ma di un caso in cui un’allucinazione ha percorso la catena di comando fino quasi a innescare un’operazione armata. Jake Steckler, ricercatore al GovAI e veterano dell’esercito USA, ha osservato che è fondamentale che i militari comprendano l’incertezza intrinseca ai modelli linguistici, soprattutto quando le decisioni riguardano targeting, analisi di intelligence o pianificazione operativa, ambiti in cui gli errori hanno conseguenze di vita o di morte.

Steckler ha comunque aggiunto che l’incidente dovrebbe spingere a rafforzare le salvaguardie, non ad abbandonare questi strumenti, perché privilegiare la velocità di adozione rispetto a tutto il resto rischia di produrre episodi che minano la fiducia del personale militare, finendo per rallentare l’adozione stessa. Il Pentagono accelera sull’AI generativa nonostante i rischi Il caso arriva mentre il Dipartimento della Difesa sta spingendo con decisione sull’integrazione dell’AI generativa nelle forze armate USA. A gennaio l’agenzia ha lanciato una “strategia di accelerazione AI” pensata per rendere disponibili tutti i dati appropriati attraverso i sistemi IT federati, incluse le reti operative di ogni servizio e componente.

Impatto sui mercati

Il segretario alla Difesa Pete Hegseth ha commentato l’iniziativa dicendo che l’AI vale quanto i dati che riceve, e che il compito del Pentagono è garantire che quei dati siano disponibili. Gemini, Grok e Claude sulla piattaforma GenAI. mil Sul piano operativo, lo scorso dicembre il Dipartimento della Difesa ha annunciato l’adozione di Google’s Gemini for Government come base della piattaforma proprietaria GenAI.

Il mese scorso è arrivato anche Grok for Government come opzione aggiuntiva sulla stessa piattaforma. Anthropic, dal suo canto, offre una versione personalizzata di Claude destinata alle attività di intelligence statunitensi, ma il rapporto con l’azienda si è complicato: a marzo il Dipartimento l’ha inserita in una blacklist proprio a causa della sua opposizione all’utilizzo dei modelli in sistemi d’arma autonomi, una decisione che un giudice federale ha definito, il mese scorso, una “ritorsione illegale in violazione del Primo Emendamento”. L’entità dell’adozione interna dà la misura di quanto rapidamente questi strumenti si stiano diffondendo: a giugno un rappresentante del Pentagono ha riferito al Congresso che l’AI generativa viene già usata per redigere rapporti richiesti per legge, e che oltre 1,5 milioni di membri del personale della Difesa hanno utilizzato gli strumenti generativi militari.

È un numero che rende evidente come i rischi AI nella difesa non riguardino più casi isolati, ma un’infrastruttura ormai diffusa su scala massiccia. Regole etiche e supervisione umana: il nodo del “human in the loop” La domanda che l’episodio della nave cinese lascia aperta riguarda proprio il controllo umano sull’AI militare. Nel 2023 il Dipartimento di Stato aveva pubblicato una “Dichiarazione sull’uso responsabile militare dell’intelligenza artificiale e dell’autonomia”, sottolineando che un uso “responsabile” dell’AI da parte delle forze armate deve prevedere un’attenta valutazione di rischi e benefici e minimizzare pregiudizi involontari e incidenti.

I mercati delle criptovalute seguono da vicino questo sviluppo, mentre gli investitori valutano il potenziale impatto sui prezzi.