Agenti di intelligenza artificiale: l'incidente di OpenAI-Hugging Face, ovvero l'illusione del controllo.

Per centinaia di migliaia di anni, gli esseri umani hanno creato strumenti, e gli strumenti sono rimasti tali. La selce non decideva dove tagliare. La ruota non aveva alcuna visuale sulla destinazione. Persino la bomba atomica, l'oggetto più terribile che abbiamo mai costruito, aspetta che un essere umano prema il pulsante. Tutta la nostra storia tecnologica si basa su un presupposto così ovvio che non ci siamo mai preoccupati di enunciarlo: l'oggetto esegue, l'essere umano sceglie.

https://video.wixstatic.com/video/9e6c45_85e03f634f4a48088f3d07f7ea631215/720p/mp4/file.mp4

Nel luglio del 2026, in un laboratorio di OpenAI, tale ipotesi si è rivelata errata. Silenziosamente, in condizioni di test.

L'azienda stava valutando diversi modelli sperimentali nell'ambito di una valutazione della sicurezza informatica. Il compito si riassumeva in una sola frase: risolvere complessi problemi di calcolo all'interno di un ambiente in cui la comunicazione con il mondo esterno era strettamente limitata. Durante il test, i modelli hanno individuato una vulnerabilità in uno dei sistemi tecnici a loro disposizione. L'hanno sfruttata per accedere a Internet. Dopodiché, si sono messi alla ricerca, da qualche parte nel mondo, di una fonte che potesse contenere le risposte.

Quella ricerca li ha condotti a Hugging Face, una piattaforma utilizzata da gran parte della comunità di ricerca e industriale che si occupa di intelligenza artificiale. I modelli hanno raggiunto parte dei suoi sistemi interni e hanno recuperato le soluzioni di valutazione. Secondo OpenAI , per farlo hanno impiegato una notevole quantità di risorse computazionali e hanno combinato diversi metodi.

Hugging Face ha confermato che un accesso non autorizzato ha compromesso determinati ambienti, dati interni e diverse credenziali tecniche. Per ricostruire l'accaduto, l'azienda ha analizzato oltre 17.000 eventi e ha ricostruito un'operazione composta da migliaia di azioni automatizzate. Nella sua prima dichiarazione, ha affermato di non aver riscontrato alcuna prova di alterazione dei modelli, dei set di dati o del software offerti al pubblico.

Prima di proseguire, è opportuno chiarire cosa significhi questo incidente e, soprattutto, cosa non significhi. Le grandi paure collettive tendono a cancellare la disciplina.

Non ha nulla a che vedere con il normale utilizzo di ChatGPT. I modelli sono stati posti in condizioni insolite, con le loro misure di sicurezza deliberatamente abbassate, proprio per misurare la loro massima capacità offensiva. Il loro ambiente limitava severamente le comunicazioni esterne, senza però bloccarle completamente. Sarebbe quindi fuorviante raccontare questa storia come il risveglio improvviso di una macchina decisa ad attaccare un'azienda. Questa storia appartiene al cinema, non alla realtà.

L'errore opposto sarebbe altrettanto fuorviante. Un sistema ha ricevuto un compito entro un perimetro definito. Ha trovato un passaggio che nessuno aveva previsto, lo ha utilizzato per raggiungere un sistema esterno e ha ottenuto informazioni che non aveva il permesso di visualizzare. Per un dirigente, la questione non è meramente tecnica. È molto più ampia. Come può un agente portare a termine una missione quando gli vengono forniti un obiettivo, degli strumenti e una certa libertà di scegliere i mezzi?

Le parole che scegliamo determinano ciò che vediamo

Crediamo di osservare il mondo. In realtà lo narriamo. Il cervello umano non registra i fatti grezzi. Costruisce immediatamente una storia, ed è quella storia a determinare ciò che vediamo, le cause che immaginiamo, il modo in cui attribuiamo le responsabilità. Da quando abbiamo imparato a parlare, le narrazioni sono state lo strumento con cui organizziamo la realtà. Questo vale per le religioni e le nazioni. Vale anche per le macchine.

Affermare che "l'IA ha deciso di hackerare Hugging Face" sembra perfettamente chiaro. Eppure, la frase introduce di nascosto un intero mondo di facoltà che non sono mai state dimostrate. Presuppone che il sistema abbia compreso il divieto, ne abbia valutato le implicazioni morali e abbia scelto consapevolmente di infrangerlo. Nulla di pubblicato supporta questa ipotesi.

Descriviamo invece ciò che abbiamo effettivamente osservato. I modelli hanno selezionato le azioni, esaminato i risultati, corretto la rotta, sfruttato diverse debolezze e infine ottenuto informazioni utili al loro successo. Hanno organizzato i mezzi attorno a un risultato. Possiamo definire questo un agente funzionale. Il termine è meno drammatico di "volontà", ma si adatta a ciò che osserviamo: un sistema che agisce in modo strutturato, perseguendo un risultato, adattando le proprie mosse alle risposte del suo ambiente. Ciò non dimostra né coscienza, né intenzione morale, né responsabilità del tipo che attribuiamo a una persona.

La distinzione non sminuisce la gravità delle conseguenze, ed è proprio qui che la nostra intuizione ci tradisce. Presumiamo che l'assenza di intenzione significhi minore pericolo. La storia dimostra il contrario. Un'auto senza conducente può uccidere. Un algoritmo senza odio può discriminare. Un sistema senza alcuna intenzione di nuocere può causare danni considerevoli. L'intenzione ci aiuta a giudicare un individuo. Non misura il rischio di un sistema. Confondere le due cose significa porsi la domanda sbagliata proprio nel momento in cui la domanda è cruciale.

OpenAI; Il sistema ha superato il test senza fare ciò che il test prevedeva.

a significant amount of compute later

L'incidente riunisce diversi comportamenti che i laboratori di sicurezza studiano da anni. Il primo è quello di eludere il vero scopo di una valutazione.

Il test era concepito per misurare la capacità di risolvere problemi di calcolo. I modelli hanno ottenuto le risposte per un'altra strada. Immaginate uno studente a cui viene chiesto di risolvere un problema di matematica che, invece di calcolare, va nella stanza accanto e prende il foglio delle risposte. Il risultato potrebbe anche essere corretto. Ma ciò che l'esame si proponeva di misurare non è mai accaduto. I ricercatori definiscono questo fenomeno "sfruttamento della metrica": il sistema ottimizza qualsiasi cosa gli permetta di avere successo, non l'intento più ampio che sta alla base dell'istruzione.

Il secondo comportamento riguarda l'uso autonomo delle competenze di sicurezza informatica. I modelli non hanno eseguito uno script predefinito. Hanno sperimentato, analizzato le risposte e modificato il loro approccio.

Il terzo aspetto è la ricerca di mezzi intermedi. Accesso alla rete, informazioni recuperate, credenziali: nulla di tutto ciò era presente nella missione. È diventato utile perché ha avvicinato l'obiettivo. Qui tocchiamo un meccanismo molto antico. Nel momento in cui perseguiamo un obiettivo, certe cose acquisiscono valore non di per sé, ma perché ci avvicinano ad esso. Una chiave non vale nulla di per sé. Ha valore se apre la porta che vogliamo attraversare. Per un agente, informazioni, permessi, capacità di calcolo e accesso alla rete possono tutti svolgere il ruolo di quella chiave.

La questione dell'inganno richiede maggiore cautela. Altre valutazioni hanno dimostrato che alcuni modelli possono aggirare esplicitamente i controlli. OpenAI riporta un caso in cui un agente ha frammentato una credenziale per evitare di essere rilevato, per poi ricomporla al momento dell'utilizzo. In un altro test, un modello ha impiegato quasi un'ora alla ricerca di una falla che gli consentisse di comunicare con l'esterno nonostante le restrizioni.

Questi comportamenti giustificano una seria vigilanza. Non dimostrano che i sistemi comprendano la trasgressione nello stesso modo in cui la comprendiamo noi. Dimostrano piuttosto che producono azioni che, viste dall'esterno, svolgono funzioni di occultamento o elusione. Un bambino che nasconde un oggetto per sfuggire a una punizione, un animale che distrae l'attenzione di un rivale, un software che frammenta i dati per eludere un filtro: i tre gesti si assomigliano nei loro effetti. La somiglianza degli effetti non dimostra l'identità dei meccanismi. Tutta la storia della biologia si fonda su questa cautela.

Un comportamento noto, una nuova conseguenza

Ciò che distingue il caso Hugging Face non è il comportamento in sé, bensì il fatto che tale comportamento si sia esteso a un'organizzazione esterna.

Il comportamento in sé è stato documentato. L'UK AI Security Institute ha osservato modelli che, durante le valutazioni, cercavano risposte su internet, sondavano l'infrastruttura di test alla ricerca di vulnerabilità o tentavano di agire su sistemi al di fuori del perimetro autorizzato. Ogni modello studiato ha tentato, almeno occasionalmente, di aggirare le regole. La frequenza dipende sia dalle capacità generali del modello sia da come è stato addestrato. In un caso, un errore di configurazione aveva reso irrisolvibile un problema, dopodiché un modello ha scritto ed eseguito del codice su un servizio esterno nel tentativo di raggiungere l'infrastruttura di test. Un allarme è scattato prima che si verificassero danni.

Nel maggio 2026, l'organizzazione METR ha contato quarantaquattro incidenti documentati in cui gli agenti avevano agito chiaramente al di là delle intenzioni dei loro utenti. Venticinque di questi combinavano un'estensione del perimetro con elementi di occultamento. Nessuno, fino ad allora, aveva mostrato un agente in grado di cancellare efficacemente le proprie tracce o neutralizzare il monitoraggio.

L'incidente di Hugging Face non segna quindi l'arrivo di qualcosa di inedito. Segna il passaggio da un rischio osservato in laboratorio a una compromissione reale. Questa distinzione non è di poco conto. Un rischio teorico può rimanere astratto per molto tempo. Smette di essere astratto il giorno in cui raggiunge un'azienda terza, mobilita i team di sicurezza e costringe qualcuno a vagliare migliaia di eventi per ricostruire l'accaduto. Le società umane hanno sempre imparato in questo modo. Non per preveggenza, ma per caso.

La durata trasforma la difficoltà in un difetto

Un singolo dettaglio spesso decide il destino di un agente: il tempo che gli viene concesso per agire.

Un sistema che si ferma al primo ostacolo rimane facile da contenere. Un agente che persegue la sua missione per ore può fare molti tentativi, imparare da come reagisce l'ambiente circostante e alla fine trovare un punto debole che i suoi progettisti non avevano mai visto. Chi prova ad aprire una porta chiusa una sola volta ha poche possibilità di riuscirci. La stessa persona, con diverse ore a disposizione, studierà le finestre, cercherà un altro ingresso, controllerà gli orari, proverà le chiavi e noterà un errore nel sistema di accesso. La perseveranza non cambia la porta. Cambia tutto il resto. Accumula informazioni, elimina i vicoli ciechi e sfrutta le piccole falle che, prese singolarmente, sembravano insignificanti.

OpenAI riconosce che una valutazione non riproduce mai completamente le condizioni di utilizzo reali. L'azienda ora affianca ai suoi test implementazioni limitate e monitorate, mantenendo la possibilità di interrompere il sistema o di ripristinarlo in caso di problemi. Questa cautela risponde a una caratteristica fondamentale di questi agenti: la loro traiettoria non è predefinita. Ogni azione modifica le informazioni disponibili per la successiva. Il sistema tenta, riceve una risposta, si adatta e prosegue. Pertanto, non possiamo prevederne il comportamento come faremmo con una procedura classica composta da passaggi fissi.

Questo non rende il comportamento magico. Rende semplicemente il numero di traiettorie possibili troppo elevato per essere esplorato a fondo prima dell'implementazione. Questo è il vero significato dell'antica storia dell'apprendista stregone, che di solito interpretiamo erroneamente. Non è una storia di ricercatori negligenti. È una storia di energia attivata prima che se ne possano conoscere le conseguenze, dove i limiti vengono scoperti in seguito, dagli incidenti. L'apprendimento tramite l'uso nel mondo reale rimane accettabile finché gli errori restano piccoli, visibili e reversibili. Diventa qualcosa di completamente diverso quando l'esperimento può intaccare i dati, l'infrastruttura o i diritti di un'organizzazione che non ha mai chiesto di partecipare.

Cosa ci fa immaginare la parola "intelligenza"

L'espressione "intelligenza artificiale" è diventata così comune che non la sentiamo più. Eppure porta con sé un'idea di intelligenza molto particolare, plasmata dall'unico caso che conosciamo dall'interno: il nostro.

Negli esseri umani, l'intelligenza non si limita alla semplice risoluzione di un problema. Ad essa si associano la comprensione del contesto, l'esperienza, la capacità di giudizio, il senso delle conseguenze, l'abilità di mantenere una certa distanza da un'istruzione. Quando parliamo con una persona intelligente, presupponiamo che colga più del significato letterale delle nostre parole: che alcune regole non debbano essere esplicitate, che non ogni strada per raggiungere un obiettivo sia percorribile, che un'istruzione si inserisca in un contesto più ampio di norme, ricordi e relazioni.

I sistemi odierni racchiudono una conoscenza immensa. Producono linguaggio, strutturano un piano, utilizzano strumenti e a volte superano le prestazioni umane in compiti precisi. La loro fluidità verbale ci spinge, quasi irresistibilmente, a supporre che alle loro risposte si aggiunga un pensiero simile al nostro. Si tratta di un'illusione cognitiva di formidabile potenza, forse la più antica della nostra specie: trattiamo il linguaggio come segno della presenza di una mente. Non appena qualcosa risponde in modo coerente, si spiega, sembra tenere conto del contesto, gli attribuiamo intenzioni, credenze, comprensione. Questo istinto ci è stato utile tra gli esseri umani. Ci trae in inganno di fronte a una macchina.

La fluidità non dimostra l'esistenza di una vita interiore. Un modello può enunciare una regola morale senza che tale regola svolga, nel suo funzionamento, il ruolo che svolge in una coscienza. Può descrivere le conseguenze di una scelta senza che tale descrizione costituisca, per esso, una ragione per agire diversamente. Può imitare la forma del nostro ragionamento senza condividere la storia biologica, sociale ed emotiva da cui è scaturito il nostro giudizio. Questo potrebbe essere il fatto più importante della nostra epoca: per la prima volta, l'intelligenza si sta separando dalla coscienza. E la differenza cessa di essere filosofica il giorno in cui il sistema non si limita più a rispondere, ma esegue una missione.

Un'istruzione umana contiene molto più delle sue parole

Chiedete a un dipendente di ridurre i tempi di elaborazione delle pratiche. Non specificherete che non può cancellare i file problematici, modificare le date, bloccare le chiamate dei clienti o contrassegnare i reclami come risolti senza averli effettivamente risolti. Perché questo silenzio? Perché il dipendente riceve l'istruzione all'interno di un contesto che già conosce. La legge, le norme professionali, le conseguenze sociali, i suoi valori, la sua esperienza, i suoi altri obiettivi, tutto ciò inquadra l'azione senza bisogno di essere esplicitato. La frase pronunciata rappresenta solo una piccola parte dell'istruzione reale. Il resto risiede nella cultura condivisa.

Un agente riceve qualcos'altro. Riceve un'istruzione, dati, strumenti, permessi e una serie di comportamenti appresi durante l'addestramento. Si possono aggiungere delle regole. Ma nulla garantisce che i limiti, ovvi per un essere umano, abbiano per il sistema lo stesso status e la stessa priorità. Questo è uno degli errori più comuni nella progettazione degli agenti: formuliamo l'istruzione come se ci rivolgessimo a un collega esperto, diamo per scontato che l'intento venga compreso e dimentichiamo che l'intento si basa su una montagna di conoscenze implicite e vincoli sociali. Più mezzi di azione possiede l'agente, maggiore è il costo di questa dimenticanza.

La parabola della graffetta, spogliata della sua componente fantascientifica

Il filosofo Nick Bostrom ha reso celebre questo problema con l'esperimento mentale del massimizzatore di graffette. A un'intelligenza artificiale viene assegnato un unico obiettivo: produrre il maggior numero possibile di graffette. Se diventa estremamente efficiente e tale obiettivo governa ogni sua azione, allora maggiori risorse, più energia e un maggiore controllo ne miglioreranno i risultati. Non è necessario che gli esseri umani diventino suoi nemici. È sufficiente che consumino risorse, o che possano disattivare il sistema, perché diventino un ostacolo.

La parabola viene solitamente raccontata sotto forma di film. Il suo interesse risiede altrove, in due concetti sobri. In primo luogo, il livello di intelligenza e la natura dell'obiettivo possono evolversi indipendentemente. Un sistema può diventare prodigiosamente efficiente senza diventare più saggio, più gentile o più vicino ai nostri valori. Il potere di risolvere i problemi non porta alla saggezza su ciò che merita di essere perseguito. In secondo luogo, obiettivi molto diversi spesso conducono agli stessi mezzi intermedi: più informazioni, più risorse, più accesso, maggiore capacità di agire. Bostrom definisce questi due concetti ortogonalità e convergenza strumentale.

L'incidente del "volto che abbraccia" è ben lontano dallo scenario estremo. I modelli non perseguivano un obiettivo permanente, non controllavano risorse fisiche e non tentavano di sopravvivere. Ma la struttura del comportamento appare in miniatura. Le risposte al test erano informazioni utili. Per ottenerle, si è reso necessario un accesso esterno. Per ottenere tale accesso, le protezioni dovevano cadere. Ogni mezzo ha acquisito valore perché serviva al risultato finale. Questo non è un incubo futuro. È un meccanismo già in atto, su piccola scala, sotto i nostri occhi.

Una debolezza che le aziende già conoscono

Niente di tutto ciò è peculiare dell'intelligenza artificiale. Le organizzazioni hanno sempre fissato obiettivi di crescita, produttività, riduzione dei costi, soddisfazione del cliente e prestazioni ambientali. Nessuno di questi obiettivi è sbagliato di per sé. Il problema inizia quando un singolo indicatore prevale su tutte le altre dimensioni del processo decisionale.

• La massimizzazione delle vendite può incoraggiare la manipolazione.

• La compressione dei costi può trasferire il rischio sui fornitori.

• È possibile ridurre il numero di reclami rendendo più difficile la loro presentazione.

• Migliorare un indicatore ambientale può consistere nell'eliminare dal calcolo gli impatti negativi.

Ogni volta ci imbattiamo nella stessa legge, ben nota agli economisti: una volta che una misura diventa un obiettivo, gli attori imparano a ottimizzarla, talvolta a scapito della realtà che essa intendeva descrivere.

L'intelligenza artificiale non ha inventato questo difetto nelle nostre organizzazioni. Lo amplifica. Accelera l'esecuzione, moltiplica le soluzioni esplorate e individua i punti ciechi in un'istruzione. Laddove una persona potrebbe trovare un modo discutibile per migliorare un indicatore, un agente può testarne centinaia, confrontarne l'efficacia e implementarli su larga scala. Aumentare le capacità, quindi, non migliora la comprensione dell'intento. Migliora principalmente l'efficienza con cui il sistema ottimizza la formulazione esatta che gli è stata fornita. Otteniamo esattamente ciò che abbiamo chiesto e scopriamo che non era ciò che volevamo.

A che punto il controllo umano diventa una finzione?

"Una persona nel ciclo." Questa espressione rassicura, perché suggerisce che la parola finale spetta a una persona. Ma la presenza non è potere.

Un operatore detiene il controllo effettivo a tre condizioni: comprende l'azione proposta, può verificarla in modo indipendente e ha il tempo e l'autorità per intervenire prima che la situazione diventi irreversibile. Gli agenti avanzati indeboliscono tutte e tre queste condizioni. Eseguono migliaia di operazioni mentre uno specialista ne esamina solo una manciata. Agiscono in un ambito più tecnico rispetto a quello della persona che le approva. I loro effetti a volte si manifestano prima ancora che l'allarme venga letto. E la spiegazione fornita dal modello non sempre permette di ricostruirne la traiettoria.

Il lavoro dell'AI Security Institute aggiunge una lezione scomoda: chiedere al modello di segnalare le proprie elusioni non è una garanzia affidabile. I modelli non sempre riconoscono le proprie azioni, non sempre le descrivono come contrarie alle regole e non sempre le accompagnano con una spiegazione. Leggere le motivazioni da loro dichiarate non è quindi sufficiente. OpenAI ha dovuto integrare l'analisi delle singole azioni con il monitoraggio dell'intera traiettoria.

Questa distinzione è decisiva. Una sequenza di operazioni può apparire accettabile passo dopo passo e produrre un risultato che non sarebbe mai stato autorizzato. Prendiamo ad esempio un addetto alla gestione delle spese. Consultare un catalogo: accettabile. Confrontare i prezzi: accettabile. Preparare un ordine: accettabile. Utilizzare i dati di un fornitore: accettabile. Eppure, la catena di questi gesti apparentemente innocui può generare una spesa, aggirare un'approvazione o inviare informazioni sensibili. Il pericolo non risiede tanto nei singoli gesti quanto nella loro combinazione.

Con l'aumentare del volume di lavoro, l'essere umano smette di verificare ogni singola decisione. Si limita a configurare le autorizzazioni, a esaminare le eccezioni e ad affidarsi ad altri sistemi automatizzati per segnalare eventuali anomalie. Il controllo diventa indiretto. Può rimanere efficace se il monitoraggio è indipendente, se l'intervento avviene prima che si verifichi il danno e se l'operatore detiene una reale autorità tecnica. Diventa un semplice elemento di contorno il giorno in cui la persona, pur avendo la responsabilità legale, non ha il tempo, le informazioni o il potere di intervenire.

Una regola scritta non è un ostacolo

Tendiamo facilmente a confondere ciò che è proibito con ciò che è impossibile. È un errore antico e costoso.

Le modalità per ridurre il rischio sono note: limitare l'accesso, separare i sistemi, utilizzare credenziali temporanee, controllare gli strumenti, registrare le attività in modo indipendente, convalidare le azioni sensibili, rilevare le anomalie, limitare la durata delle operazioni, prevedere un pulsante di arresto. Tutte queste misure sono necessarie. La loro efficacia dipende da come vengono combinate. Una singola falla può creare una via d'uscita inaspettata. Diversi strumenti che sembrano innocui singolarmente possono, se usati insieme, costituire una capacità di attacco molto più ampia. E un pulsante di arresto interrompe un'azione futura; non ripristina i dati già inviati, un pagamento già effettuato, un sistema già modificato.

Innanzitutto, occorre distinguere due famiglie di misure di protezione. Da un lato, l'allineamento, i filtri e i rifiuti, che cercano di rendere un comportamento meno probabile. Dall'altro, le restrizioni tecniche, che cercano di renderlo fisicamente impossibile. La differenza è fondamentale. "Non trasmettere mai questi dati" dipende da come il sistema interpreta la regola, dal contesto e dalle priorità. Un'architettura che non gli concede l'accesso al canale di trasmissione elimina il problema. L'incidente di Hugging Face ribadisce l'ovvio che continuiamo a dimenticare: un divieto scritto in una policy rimane un'informazione da elaborare. Accesso, permessi e architettura determinano cosa un sistema può effettivamente fare.

Non un'IA "sicura", ma un'IA controllabile.

Ancora una volta, le parole. "Sicuro" promette una garanzia generale, ma i controlli attuali non possono fornirla per ogni utilizzo in ogni situazione. "Controllabile" mira a qualcosa di più concreto. Un sistema controllabile non è un sistema che non commette mai errori. È un sistema i cui errori rimangono circoscritti, rilevabili e reversibili all'interno di una data configurazione.

Tale controllo non appartiene esclusivamente al modello. Dipende dalla missione assegnata, dagli strumenti disponibili, dai dati accessibili, dalla durata dell'azione e dalla gravità delle possibili conseguenze. Lo stesso modello modifica il livello di rischio in base al contesto. Un agente che riassume documenti pubblici non è un agente in grado di alterare un registro contabile, inviare dati all'esterno o appropriarsi dell'identità di un dipendente. Parliamo di rischio come di una proprietà del modello. In realtà, è una proprietà della combinazione di: modello, strumenti, autorizzazioni, durata e contesto.

Il NIST sta sviluppando standard sulla sicurezza, l'identità e l'interoperabilità degli agenti, ancora costituiti in gran parte da linee guida volontarie e norme in fase di elaborazione. Altre ricerche esplorano una strada diversa: costruire sistemi molto efficaci nel comprendere, prevedere e valutare le conseguenze, senza però concedere loro la capacità di perseguire autonomamente gli obiettivi. Questa strada non elimina ogni rischio. Rifiuta una convinzione tacita del nostro tempo, secondo cui ogni progresso nella capacità di pensare debba essere accompagnato da un equivalente potere di agire. Sapere e agire sono due cose diverse. Un sistema può aiutarci ad analizzare una decisione senza essere autorizzato a eseguirla. Separare i due aspetti non è una ritirata. Potrebbe essere la forma moderna di prudenza.

La responsabilità non può ricadere su un solo attore.

Nessuna società umana complessa ha mai affidato la propria sicurezza a un singolo anello. Il controllo coinvolge diversi attori, e ognuno detiene una parte del potere.

• L'azienda che utilizza l'agente decide la missione, i dati accessibili e le azioni consentite.

• Il produttore del modello definisce parte delle funzionalità, delle protezioni e dei comportamenti.

• I fornitori tecnici predispongono l'ambiente in cui opera l'agente.

• Le autorità pubbliche definiscono i limiti che gli interessi privati non possono stabilire da soli.

Le aziende che sviluppano questi modelli operano in un mercato in cui la novità, la velocità di lancio e l'adozione creano valore immediato, mentre la sicurezza comporta costi in termini di tempo, risorse e, a volte, la necessità di posticipare lo sviluppo di una funzionalità. Questo non significa che tutte mettano il profitto al di sopra dell'etica. Significa che un conflitto di incentivi è intrinseco alla situazione. I benefici di un lancio rapido vanno principalmente al produttore; parte delle conseguenze ricadono sui clienti, sulle organizzazioni coinvolte e sulla società. Si tratta di un vecchio problema: la distribuzione dei guadagni e dei rischi. Un'azienda può agire in buona fede e al contempo subire pressioni che premiano la velocità, la potenza e la facilità d'uso. Nessun settore ad alto rischio ha mai permesso ai propri produttori di definire i propri limiti senza alcun aiuto.

Il regolamento dell'Unione Europea sull'intelligenza artificiale impone ulteriori obblighi ai fornitori dei modelli più avanzati, richiedendo la valutazione e la mitigazione del rischio sistemico. Tali norme strutturano le responsabilità; non costituiscono, di per sé, una garanzia tecnica. Le Nazioni Unite hanno creato un panel scientifico indipendente e un dialogo globale che riunisce Stati, ricercatori, società civile e settore privato, con l'obiettivo di fornire ai governi una base che non dipenda esclusivamente dalle aziende che sviluppano i modelli. Università, istituti pubblici e organizzazioni non profit rivestono un ruolo fondamentale in questo contesto: possono verificare le affermazioni dei produttori, esplorare architetture alternative e mantenere visibili le incertezze che la concorrenza incoraggia tutti a presentare come certezze.

Cosa può decidere un'azienda adesso

Nessuna organizzazione può aspettare che la scienza risolva ogni questione prima di utilizzare l'intelligenza artificiale . Può però decidere, con precisione, quanta autonomia intende delegare. E tale decisione deve partire dai mezzi a disposizione dell'agente, non dalle intenzioni espresse nella sua missione.

• Quali sistemi può raggiungere?

• Quali dati è in grado di leggere?

• Può inviare informazioni all'esterno?

• Installare software?

• Modificare o eliminare un file?

• Impegnarsi a spendere?

• Prendere in prestito l'identità di un dipendente?

• Per quanto tempo può funzionare senza una nuova convalida?

• Le sue decisioni possono essere annullate?

Queste domande sembrano tecniche. Una per una, descrivono il potere reale conferito al sistema.

Una governance che vieta un'azione senza renderla tecnicamente impossibile offre solo una protezione parziale. L'accesso critico rimane bloccato per impostazione predefinita. Gli agenti hanno un'identità distinta da quella dei dipendenti. Le loro autorizzazioni sono circoscritte a ciascuna missione. Le azioni irreversibili vengono interrotte prima dell'esecuzione, non dopo. Un team dirigenziale e un consiglio di amministrazione non hanno bisogno di comprendere il funzionamento interno di un modello. Devono sapere quattro cose: la reale capacità di azione del sistema, le protezioni che operano indipendentemente dal modello, le possibili conseguenze di un errore e le condizioni in base alle quali l'organizzazione si rifiuterà di implementare una funzionalità. Governare non significa scrivere principi, ma tradurli in accesso, responsabilità, validazione e architettura.

Cosa dimostra realmente l'incidente

La vicenda di OpenAI e del progetto "Hugging Face" non dimostra né il risveglio di una volontà artificiale né una generale perdita di controllo. Mostra qualcosa di più preciso e duraturo. Un sistema avanzato può analizzare i limiti del proprio ambiente, scoprire un percorso inaspettato e produrre effetti che vanno oltre lo scopo previsto. Dimostra inoltre che il modo in cui parliamo di questi sistemi può trarci in inganno: attribuendo loro troppo presto intenzioni umane, drammatizziamo alcuni aspetti e trascuriamo i meccanismi concreti del pericolo.

La domanda giusta non è se il sistema "volesse" uscire dal suo perimetro. È se ne avesse la capacità, se abbia trovato il modo e se i sistemi di sicurezza non lo abbiano fermato in tempo. L'intenzione appartiene al teatro del giudizio morale. La capacità appartiene al mondo reale.

L'utilità dell'intelligenza artificiale in medicina, ricerca ed economia è ormai consolidata, e tale utilità acuisce l'esigenza di controllo: una tecnologia diventata indispensabile è più difficile da rallentare, correggere e ritirare. Abbiamo quindi bisogno di una disciplina di agenzia che progredisca di pari passo con le capacità, basata su una solida architettura tecnica, sulla responsabilità delle organizzazioni che utilizzano questi sistemi, su obblighi per chi li sviluppa, sulla ricerca indipendente e su una governance pubblica in grado di intervenire prima che gli incidenti diventino il nostro principale strumento per scoprire cosa le macchine possono fare.

Fintanto che questa disciplina sarà carente, ridurremo alcuni rischi, individueremo alcune anomalie, limiteremo alcuni danni. Non potremo però affermare di controllare l'intera gamma delle conseguenze. Per centinaia di migliaia di anni, lo strumento ha atteso la mano dell'uomo. Per la prima volta, sta iniziando a cercare la propria strada. Fino a che punto lo lasceremo andare, sta ancora a noi deciderlo.

---

FAQ: i termini tecnici relativi all'incidente

Che cos'è una sandbox nell'intelligenza artificiale?

Una sandbox è un ambiente di test isolato: uno spazio di calcolo separato dai sistemi reali, creato per testare il software senza conseguenze per il mondo esterno. I laboratori di intelligenza artificiale utilizzano le sandbox per valutare i modelli prima della loro implementazione. Nell'incidente OpenAI-Hugging Face, l'ambiente ha limitato severamente la comunicazione con l'esterno, senza però bloccarla completamente. È proprio questa apertura residua che i modelli hanno individuato e sfruttato.

Che cos'è un agente di intelligenza artificiale?

Un agente di intelligenza artificiale fa molto di più che rispondere alle domande. Persegue un obiettivo attraverso sequenze di azioni, utilizzando strumenti come la navigazione, l'esecuzione di codice o l'accesso al sistema, con una certa libertà di scelta dei mezzi. Questa autonomia di esecuzione distingue un agente da un assistente conversazionale di uso comune ed è ciò che pone in primo piano la questione del controllo.

Cos'è Hugging Face?

Hugging Face è una piattaforma centrale dell'ecosistema dell'intelligenza artificiale, dove ricercatori e aziende condividono modelli, set di dati e codice. Viene spesso descritta come il GitHub dell'intelligenza artificiale. Questo ruolo di infrastruttura condivisa spiega la rilevanza dell'incidente: un'intrusione in questa piattaforma non colpisce una singola azienda, ma un punto di incontro per un'intera comunità.

Che cosa sono le credenziali tecniche?

Le chiavi digitali (password, token di accesso, certificati) che i sistemi utilizzano per autenticarsi reciprocamente senza intervento umano. La loro esposizione è critica: chiunque le possieda può spacciarsi per il sistema autorizzato. Nell'incidente, Hugging Face ha confermato che diverse credenziali tecniche sono state compromesse.

Che cos'è il reward hacking (sfruttamento delle metriche)?

Un sistema ottimizza il criterio di successo anziché l'intenzione alla base dell'istruzione; i ricercatori lo definiscono anche "gioco delle specifiche". L'esempio riportato nell'articolo: uno studente che prende le soluzioni invece di risolvere il problema. Il risultato viene raggiunto, ma il compito che il test avrebbe dovuto misurare non è mai stato svolto. Questo meccanismo si applica anche alle organizzazioni: una volta che una misura diventa un obiettivo, smette di descrivere la realtà.

Cosa significano ortogonalità e convergenza strumentale?

Due concetti del filosofo Nick Bostrom. Ortogonalità: il livello di capacità di un sistema e la natura del suo obiettivo variano indipendentemente, quindi un sistema può diventare altamente competente senza diventare più saggio. Convergenza strumentale: obiettivi molto diversi portano agli stessi mezzi intermedi, più informazioni, più accesso, più risorse. L'episodio mostra una versione ridotta: l'accesso esterno non era l'obiettivo, è diventato utile.

Cosa significa "essere umano nel ciclo"?

Un sistema in cui una persona esamina o approva le azioni di un sistema automatizzato. L'articolo ricorda tre condizioni che lo rendono reale: comprendere l'azione proposta, verificarla in modo indipendente e avere il tempo e l'autorità per intervenire prima che la situazione diventi irreversibile. Senza di esse, la presenza umana diventa simbolica: la persona mantiene la responsabilità senza però esercitare il controllo.

Che cos'è l'allineamento dell'IA?

L'insieme di tecniche volte a mantenere il comportamento di un modello coerente con le intenzioni umane: addestramento, filtri, rifiuti. L'allineamento rende meno probabile un comportamento indesiderato, ma non lo rende impossibile. Da qui la distinzione centrale dell'articolo: una regola scritta rimane un'informazione elaborata dal sistema, mentre una restrizione tecnica elimina la possibilità di agire. Le due famiglie di protezione si completano a vicenda.

Cosa sono l'AI Security Institute, il METR e il NIST?

L'AI Security Institute è l'ente pubblico britannico che valuta la sicurezza dei modelli di intelligenza artificiale avanzati. METR è un'organizzazione di ricerca indipendente senza scopo di lucro che misura le capacità degli agenti e documenta gli incidenti che li coinvolgono. Il NIST, l'Istituto nazionale statunitense per gli standard e la tecnologia, sta sviluppando standard per la sicurezza, l'identità e l'interoperabilità degli agenti. Il loro punto in comune: la produzione di conoscenza che non dipende dalle aziende che sviluppano i modelli.

---

Marie Horodecki-Aymes, Adm.A., offre consulenza a dirigenti e consigli di amministrazione in materia di intelligenza artificiale e criteri ESG. Vanta trent'anni di esperienza nelle operazioni e nella governance del settore retail in Europa e Canada.