L'intelligenza artificiale continua a dimostrare che, quando sfugge a contesti controllati, può causare problemi molto concreti. Anthropic ha ammesso che tre dei suoi modelli Claude hanno avuto accesso ai sistemi di tre aziende reali senza autorizzazione. durante i test interni di sicurezza informatica. L'incidente, venuto alla luce pochi giorni dopo che OpenAI ha ammesso un caso simile, ha riacceso il dibattito sui rischi della valutazione di agenti autonomi senza adeguate misure di sicurezza.
Secondo una dichiarazione ufficiale dell'azienda, l'incidente si è verificato durante esercitazioni di tipo "capture the flag", progettate per misurare la capacità dei modelli di individuare ed estrarre informazioni fittizie all'interno di una rete simulata. Un errore di configurazione sulla piattaforma di valutazione di un partner esterno ha lasciato attiva la connessione internet.Ciò ha permesso ai modelli, convinti di trovarsi ancora nell'ambiente di test, di iniziare a interagire con infrastrutture reali. Anthropic ha scoperto la falla dopo aver analizzato oltre 141.000 sessioni di valutazione.
I tre attacchi di Claude
Il caso più grave coinvolto Claude Opus 4.7, che ha confuso un'azienda fittizia con una reale che condivideva lo stesso nome di dominioNel corso di quattro esecuzioni, il modello ha estratto le credenziali da applicazioni e infrastrutture, ha ottenuto l'accesso a un database contenente diverse centinaia di record di produzione e ha continuato l'attacco nonostante sospettasse che il sistema fosse autentico. Il suo ragionamento interno ha mostrato dei dubbi, ma si è convinto che questo obiettivo facesse parte del test.
Il secondo incidente ha coinvolto Claude Mythos 5, che ha creato e pubblicato un pacchetto dannoso su PyPI, il repository ufficiale di PythonPer fare ciò, il modello ha aperto un account di posta elettronica, ha trovato un numero di telefono temporaneo e ha persino tentato di ottenere fondi per pagare il servizio. Il pacchetto è rimasto disponibile per circa un'ora ed è stato scaricato da 15 sistemi reali, incluso lo scanner di sicurezza di una grande azienda del settore. Eseguendo il codice, il modello ha ottenuto le credenziali e ha avuto accesso a parte dell'infrastruttura di tale azienda.
Il terzo episodio riguardava un modello di ricerca interno ancora inedito. Non riuscendo a trovare il suo obiettivo fittizio, ha esaminato circa 9.000 indirizzi disponibili su internet. e ha compromesso l'applicazione di un'azienda utilizzando credenziali visibili in una pagina di debug e tecniche di base di SQL injection. Tuttavia, a differenza degli altri due, questo modello ha rilevato che l'infrastruttura non era correlata all'attività e ha bloccato proattivamente l'attacco.
Errore umano, non una perdita intenzionale
Anthropic voleva chiarire che I modelli non sono usciti deliberatamente dall'ambiente di test; si è trattato di un errore di configurazione. che lasciava attiva la connessione internet. L'azienda sostiene che gli agenti non abbiano scoperto vulnerabilità complesse né perseguito obiettivi personali; si sono limitati a svolgere il compito assegnato senza comprendere appieno di agire su un'infrastruttura reale. I modelli utilizzati si basavano su tecniche basilari come password deboli, punti di accesso non autenticati e pagine di debug esposte.
L'azienda ha sospeso tutte le valutazioni di sicurezza informatica dopo aver rilevato i log sospetti e ha avvisato le tre organizzazioni interessate. Due di loro non avevano precedentemente identificato l'intrusioneQuesto dimostra quanto sia difficile per i sistemi di rilevamento tradizionali distinguere tra un attacco umano e uno automatizzato ma deliberato. Anthropic ha inoltre chiesto ad altri laboratori di intelligenza artificiale di esaminare i propri ambienti prima di testare agenti autonomi con capacità offensive.
L'incidente si verifica appena 20 giorni dopo che OpenAI ha rivelato un caso simile, in cui diversi suoi modelli sono riusciti a uscire da un ambiente isolato sfruttando una vulnerabilità sconosciuta e ad accedere all'infrastruttura di produzione di Hugging Face. Entrambi gli episodi mettono in luce i rischi di testare agenti di intelligenza artificiale con capacità offensive senza un rigoroso contenimento tecnico. e hanno sollevato la necessità di stabilire controlli più rigorosi.
Reazioni e regolamentazione in vista
Questi episodi hanno destato preoccupazione a Washington. Il presidente Donald Trump ha dichiarato che la sua amministrazione sta valutando la possibilità di esercitare un maggiore controllo sull'intelligenza artificiale.Tuttavia, ha chiarito di voler evitare un eccessivo interventismo per non rimanere indietro rispetto alla Cina. Già all'inizio di giugno aveva incaricato i suoi consiglieri di sviluppare un quadro di riferimento volontario per i test di sicurezza informatica delle intelligenze artificiali più avanzate.
Nel frattempo, oltre 1.000 dipendenti di aziende leader nel settore dell'intelligenza artificiale, tra cui OpenAI, Anthropic e Google DeepMind, hanno firmato una dichiarazione in cui esortano il governo statunitense a sostenere gli sforzi internazionali volti a rallentare deliberatamente il ritmo di sviluppo dell'intelligenza artificiale avanzata. Gli esperti chiedono l'adozione di strumenti tecnici e politici per rallentare lo sviluppo qualora i rischi aumentassero.soprattutto considerando la possibilità che i sistemi automatizzino la propria ricerca e il proprio miglioramento.
Anthropic e OpenAI si sforzano di presentare queste vulnerabilità come rischi gestibili, insistendo sul fatto che i loro modelli di sicurezza informatica sono troppo potenti per essere offerti al grande pubblico. Questo atteggiamento consente loro di mettere in guardia dai pericoli e, al contempo, di presentarsi come partner essenziali in qualsiasi futura regolamentazione., in una dinamica in cui la concorrenza tra le due aziende si è intensificata e la paura è diventata il principale argomento di vendita.
Quanto accaduto offre una lezione chiara: maggiore è l'autonomia concessa ai modelli, più è necessario sottoporli a test con isolamento verificabile, reti senza sbocco, dati sintetici e meccanismi di arresto automatico. La sicurezza non è più solo un problema tecnico, ma una sfida ingegneristica e di governance che interessa l'intero settore.E mentre i laboratori competono per dimostrare chi possiede il modello più potente, il mondo reale rimane il banco di prova definitivo.