Sovranità umana, dipendenza tecnologica e il problema della reversibilità nell’era dell’intelligenza artificiale
È il 2035, l’uomo governa ancora il Pianeta. Almeno formalmente.
Esistono governi, parlamenti, consigli di amministrazione, autorità di controllo. I dirigenti firmano, i medici decidono, i magistrati giudicano, gli imprenditori definiscono strategie, gli eserciti rispondono alle proprie catene di comando.
Nessuna intelligenza artificiale ha conquistato il potere, nessuna macchina ha occupato un palazzo governativo, eppure potrebbe essere diventato molto più difficile rispondere a una domanda apparentemente elementare:
chi possiede realmente il controllo?
Il 2035, naturalmente, non è una previsione, è una data sufficientemente vicina da consentirci di proiettare alcune dinamiche già osservabili e sufficientemente lontana da costringerci a ragionare sulle loro conseguenze, la questione, quindi, non è stabilire se fra nove anni una macchina governerà il mondo, dobbiamo comprendere in quali condizioni potremmo continuare formalmente a comandare sistemi dei quali abbiamo progressivamente perso il controllo sostanziale.
Ed è una differenza enorme.
Il controllo non coincide con l’ultima firma
Per molto tempo abbiamo immaginato il rapporto uomo-macchina secondo una struttura semplice, la macchina calcola, l’uomo decide.
Con l’intelligenza artificiale questa separazione diventa progressivamente meno netta.
Un sistema avanzato non si limita necessariamente a produrre un calcolo. Può acquisire informazioni, selezionarle, stabilirne la rilevanza, confrontare fonti, costruire scenari, attribuire probabilità, individuare anomalie, proporre alternative e suggerire quale azione ritenga preferibile, l’essere umano interviene alla fine.
Ma l’ultima decisione è soltanto l’ultimo anello di una catena.
Supponiamo che un dirigente riceva da un sistema artificiale tre possibili strategie. Formalmente può scegliere liberamente fra A, B e C, ma chi ha stabilito che le alternative possibili fossero proprio quelle tre?
- Chi ha escluso D?
- Chi ha attribuito maggiore importanza ad alcuni dati rispetto ad altri?
- Chi ha costruito gli scenari sulla base dei quali la decisione apparirà razionale?
Il controllo, quindi, non riguarda soltanto chi autorizza l’azione finale, riguarda progressivamente anche chi costruisce la rappresentazione della realtà sulla quale quell’azione viene decisa.
È il primo livello del problema: il controllo informativo.
Quando nasce la dipendenza epistemica
La capacità dei sistemi artificiali di processare quantità di informazioni enormemente superiori a quelle che una persona può esaminare crea un vantaggio evidente, ma introduce contemporaneamente una nuova asimmetria.
Il decisore umano potrebbe conoscere l’output del sistema senza essere materialmente in grado di ricostruire l’intero percorso informativo che lo ha generato, è qualcosa di diverso dal tradizionale problema della “spiegabilità dell’algoritmo”.
Possiamo chiamarla dipendenza epistemica.
L’uomo continua a decidere, ma dipende sempre maggiormente dalla macchina per sapere su quale realtà sta decidendo, e questa dipendenza potrebbe aumentare proprio perché il sistema funziona bene.
Quanto maggiore sarà la sua capacità di analizzare informazioni, individuare correlazioni e costruire previsioni superiori alle possibilità umane, tanto minore sarà l’incentivo a replicare autonomamente l’intero processo.
- La comodità diventa efficienza.
- L’efficienza diventa abitudine.
- L’abitudine può diventare dipendenza.
Non perché la macchina imponga qualcosa, perché diventa progressivamente irrazionale non utilizzarla.
Human-in-the-loop non significa necessariamente human-in-control
La distinzione è già presente, almeno implicitamente, nella regolamentazione europea. L’articolo 14 dell’AI Act stabilisce che i sistemi di IA classificati ad alto rischio debbano essere progettati affinché possano essere effettivamente supervisionati da persone fisiche e che la supervisione sia proporzionata al rischio, al grado di autonomia e al contesto di utilizzo. Il regolamento richiede inoltre che chi esercita la supervisione possa comprendere capacità e limiti del sistema, interpretarne correttamente gli output, evitare l’eccessivo affidamento automatico su di essi e, quando necessario, ignorarne, modificarne o interromperne il funzionamento.
La parola decisiva è effettivamente.
Inserire un essere umano nel processo non garantisce, da solo, il controllo umano, un operatore può premere un pulsante di conferma senza possedere le informazioni necessarie per contestare la proposta. Può teoricamente rifiutare una raccomandazione senza avere tempo sufficiente per produrne una alternativa. Può avere l’autorità formale di fermare il sistema ma non la competenza necessaria per comprendere quando sarebbe opportuno farlo.
A quel punto abbiamo ancora un human-in-the-loop, ma non necessariamente un human-in-control.
L’approvazione umana rischia di diventare una certificazione formale di una decisione sostanzialmente costruita altrove.
Dal controllo decisionale al controllo operativo
Il problema diventa ancora più complesso quando l’intelligenza artificiale non interviene soltanto nella conoscenza o nella decisione, ma entra nel funzionamento delle infrastrutture.
- Energia.
- Telecomunicazioni.
- Logistica.
- Trasporti.
- Produzione.
- Sanità.
- Finanza.
- Pubblica amministrazione.
- Difesa.
Non è necessario immaginare un sistema centrale che governi tutto, è molto più plausibile immaginare migliaia di sistemi differenti, gestiti da soggetti differenti, progressivamente integrati nei processi dai quali dipende il funzionamento quotidiano della società.
Ed è precisamente questo scenario a interessare oggi anche gli organismi tecnici.
Nel 2026 il NIST statunitense ha avviato lo sviluppo di uno specifico profilo dell’AI Risk Management Framework dedicato all’uso affidabile dell’IA nelle infrastrutture critiche, osservando che queste infrastrutture faranno crescente affidamento sull’intelligenza artificiale nell’IT, nell’Operational Technology e nei sistemi di controllo industriale. Il progetto coinvolge esplicitamente operatori, sviluppatori, fornitori, regolatori e decisori politici lungo l’intero ciclo di vita e la catena di fornitura.
Qui emerge una domanda diversa da quelle abitualmente poste.
Possedere il comando tecnico di spegnimento significa ancora controllare un sistema?
Immaginiamo una rete logistica che nel corso degli anni abbia affidato all’IA la previsione della domanda, l’allocazione delle risorse, la gestione dei percorsi, la prevenzione dei guasti e la risposta alle anomalie.
L’interruttore esiste, l’uomo può spegnerla. Ma se spegnerla significa non essere più in grado di garantire il servizio, quanto è reale quel potere?
Avere un interruttore che non possiamo permetterci di premere non equivale necessariamente ad avere il controllo.
Ed è qui che arriviamo, a mio giudizio, alla questione più importante.
La vera misura del controllo è la reversibilità
Ogni delega conserva la sovranità di chi delega soltanto finché può essere revocata. Questo principio, applicato ai sistemi artificiali, porta a distinguere almeno tre forme di reversibilità.
- La prima è tecnica, possiamo disattivare il sistema, ripristinare uno stato precedente, sostituirlo o utilizzare una modalità alternativa?
- La seconda è organizzativa, esistono ancora procedure, strutture e persone capaci di continuare a svolgere quella funzione in sua assenza?
- La terza è cognitiva, gli esseri umani conservano una comprensione sufficiente del processo per poterlo governare nuovamente senza dipendere dal sistema che dovrebbero sostituire?
Questa distinzione è fondamentale perché una tecnologia può essere tecnicamente reversibile e contemporaneamente non esserlo più dal punto di vista organizzativo.
- Il software può essere spento, ma le competenze umane che svolgevano quella funzione possono essere scomparse.
- Le procedure manuali possono non essere più mantenute.
- I dati possono essere ormai strutturati esclusivamente per il sistema automatico.
- I tempi operativi umani possono essere incompatibili con quelli richiesti dal servizio.
A quel punto non siamo più davanti a una semplice delega.
Siamo davanti a una dipendenza strutturale.
Il punto di non ritorno non coincide con il momento in cui l’intelligenza artificiale prende il controllo. Coincide con il momento in cui l’uomo non dispone più di una capacità realistica di riprenderselo.
Questa potrebbe diventare una delle questioni centrali della futura governance dell’intelligenza artificiale.
Il problema non sarà una IA, ma un sistema di sistemi
Esiste poi un ulteriore passaggio, parlare genericamente di “controllare l’intelligenza artificiale” rischia di essere già una semplificazione, le future architetture saranno probabilmente composte da modelli, agenti, database, strumenti, sistemi cloud, API, software proprietari e infrastrutture appartenenti a soggetti differenti.
Un’organizzazione potrebbe utilizzare un modello sviluppato da una società, ospitato sull’infrastruttura di un’altra, collegato attraverso agenti prodotti da terzi, alimentato con dati provenienti da ulteriori fornitori e infine integrato in sistemi operativi che appartengono a un altro soggetto ancora.
- Chi controlla l’insieme?
- Il proprietario dell’applicazione?
- Il provider del modello?
- Chi possiede i dati?
- Chi governa l’infrastruttura?
- Chi sviluppa l’agente?
- Chi stabilisce le policy operative?
Potremmo entrare progressivamente in una dimensione nella quale ogni soggetto controlla una parte del sistema e nessuno possiede una comprensione completa del comportamento dell’intero sistema.
Non sarebbe una presa di potere delle macchine, sarebbe un problema classico dell’ingegneria dei sistemi distribuiti portato però su una scala sociale e politica enormemente superiore.
E il controllo diventerebbe quindi anche un problema di governance delle interdipendenze.
Controllare significa anche riuscire a osservare
Un sistema non può essere governato correttamente se non può essere osservato, e l’osservazione non termina con il collaudo iniziale.
Nel marzo 2026 il NIST ha pubblicato un rapporto specificamente dedicato al monitoraggio dell’IA dopo la sua messa in esercizio. La ragione è rilevante: test effettuati prima del deployment avvengono in ambienti controllati, mentre il comportamento reale può cambiare quando il sistema incontra dati dinamici, interazioni umane e condizioni operative non previste. Il rapporto evidenzia, tra gli altri problemi, il degrado delle prestazioni, il logging frammentato nelle infrastrutture distribuite e la difficoltà di far crescere la supervisione umana alla stessa velocità con cui aumentano le applicazioni dell’IA.
Questo aggiunge un altro elemento alla definizione del controllo.
Non basta poter intervenire, bisogna sapere quando intervenire.
Se migliaia di sistemi artificiali interagiscono continuamente con processi economici e infrastrutturali, la capacità di osservazione, registrazione, audit e rilevamento delle anomalie diventa parte integrante della sovranità tecnica. Un controllo che interviene soltanto dopo avere scoperto il danno non è più un vero controllo preventivo.
Cinque condizioni della sovranità umana
A questo punto possiamo provare a costruire una definizione operativa, non una formula matematica e neppure uno standard tecnico, ma una griglia concettuale.
Possiamo dire che il controllo umano rimane sostanziale quando esistono contemporaneamente almeno cinque condizioni:
- comprensione sufficiente, cioè capacità di conoscere gli elementi rilevanti del processo;
- autorità effettiva, cioè possibilità reale di modificare o rifiutare la decisione;
- interrompibilità, cioè capacità tecnica di fermare il sistema;
- reversibilità, cioè possibilità di ripristinare una condizione alternativa;
- indipendenza operativa residua, cioè capacità dell’organizzazione di continuare a funzionare, almeno in modalità degradata, senza quel sistema.
Nessuna di queste condizioni, presa singolarmente, garantisce il controllo.
È la loro combinazione che conta, e questo ci conduce a una situazione apparentemente paradossale.
Nel 2035 potremmo possedere ancora tutti gli interruttori, e avere perso comunque gran parte del controllo.
Qui comincia il problema politico
La politica non può prevedere quale modello di intelligenza artificiale verrà utilizzato nel 2035, e non può conoscere oggi tutte le future architetture agentiche, le modalità di interoperabilità o le applicazioni che nasceranno nei prossimi anni.
Pretendere che lo faccia significherebbe condannare la regolamentazione a inseguire continuamente la tecnologia, può però fare qualcosa di diverso e forse più importante.
Può definire le condizioni che devono rimanere vere perché il controllo umano non diventi soltanto nominale.
- In determinati settori critici, per esempio, la reversibilità potrebbe diventare un requisito progettuale.
- Potrebbe essere necessario conservare procedure operative alternative.
- Verificare periodicamente che esistano competenze umane realmente utilizzabili,
- Stabilire condizioni obbligatorie di arresto.
- Garantire la tracciabilità delle catene decisionali.
- Definire chi possiede l’autorità e chi risponde degli effetti.
- Prevedere test nei quali i sistemi vengano deliberatamente degradati o isolati per verificare che l’organizzazione continui a funzionare.
- Richiedere un monitoraggio continuativo dopo il deployment, perché l’affidabilità iniziale non garantisce automaticamente quella futura.
Alcuni di questi principi sono già riconoscibili nell’AI Act europeo, soprattutto laddove richiede una supervisione umana effettiva e la possibilità di ignorare, modificare o interrompere determinati output dei sistemi ad alto rischio. Ma l’evoluzione futura porrà probabilmente una questione ancora più ampia: non soltanto supervisionare la singola IA, ma conservare la capacità umana e istituzionale di governare ecosistemi tecnologici dai quali dipendono funzioni essenziali.
La politica deve quindi cominciare a interrogarsi non soltanto su ciò che le intelligenze artificiali possono fare, ma anche su ciò che l’uomo non dovrebbe mai perdere la capacità di fare senza di esse.
È un cambio di prospettiva, e probabilmente sarà necessario.
La sovranità non si perde necessariamente con un atto
Torniamo allora al 2035, non troviamo un mondo dominato dalle macchine, troviamo forse qualcosa di molto più plausibile.
- Una società estremamente efficiente.
- Sistemi sanitari assistiti dall’IA.
- Reti energetiche ottimizzate.
- Trasporti coordinati.
- Imprese capaci di anticipare la domanda.
- Amministrazioni che elaborano enormi quantità di informazioni.
- Professionisti sostenuti continuamente da sistemi artificiali.
I benefici potrebbero essere enormi, ed è proprio per questo che la questione del controllo diventa difficile.
Perché la perdita di sovranità tecnologica non avverrebbe necessariamente attraverso un conflitto, potrebbe avvenire attraverso una successione perfettamente razionale di deleghe convenienti.
- Ogni scelta, presa singolarmente, avrebbe senso.
- Quella funzione viene affidata all’IA perché lavora meglio.
- Quell’altra perché lavora più velocemente.
- Un’altra ancora perché riduce gli errori.
Poi perché nessun essere umano è più in grado di analizzare quella quantità di informazioni, e infine perché nessuna organizzazione può più permettersi di rinunciare alla capacità che il sistema garantisce.
Ed è soltanto guardando l’intera sequenza che potremmo scoprire di avere attraversato una soglia.
Nel 2035 l’uomo perderà il controllo del Pianeta?
Non lo sappiamo, e questa è probabilmente la risposta più seria, ma sappiamo già quale sarebbe uno dei segnali più importanti da osservare.
Non il momento in cui una macchina decidesse di comandare l’uomo, ma quello in cui l’uomo, pur continuando formalmente a comandare, non fosse più tecnicamente, cognitivamente e organizzativamente capace di esercitare il proprio potere senza di essa.
La domanda politica e tecnologica del prossimo decennio potrebbe quindi non essere soltanto:
quanto potere possiamo affidare all’intelligenza artificiale?
Potrebbe diventare:
quanta capacità dobbiamo obbligatoriamente conservare perché quel potere possa sempre essere ripreso?
Perché il controllo non consiste semplicemente nell’avere l’ultima parola, consiste nel possedere ancora le condizioni per poterla pronunciare.
Riferimenti essenziali
Regolamento (UE) 2024/1689 – AI Act, in particolare art. 14 sulla supervisione umana dei sistemi ad alto rischio.
NIST, Challenges to the Monitoring of Deployed AI Systems, NIST AI 800-4, marzo 2026, sul monitoraggio post-deployment, il degrado delle prestazioni, il logging distribuito e la scalabilità della supervisione umana.
NIST AI RMF Profile on Trustworthy AI in Critical Infrastructure, progetto avviato nell’aprile 2026 per l’applicazione dell’AI Risk Management Framework alle infrastrutture critiche, comprese IT, Operational Technology e Industrial Control Systems.
Rispondi