Un team di ricerca Microsoft ha dimostrato che è possibile inserire una backdoor nascosta in un modello di intelligenza artificiale modificando meno di 10 dei suoi neuroni, senza alcun riaddestramento. Quando compare una parola scelta dall'attaccante, il modello restituisce un comando che l'agente collegato esegue con i permessi che possiede. Il metodo, chiamato Lazarus, ha funzionato fino al 98,8% delle volte nei test.
In breve
- Microsoft ha mostrato che bastano meno di 10 neuroni modificati per far eseguire a un modello AI un comando nascosto, senza bisogno di riaddestrarlo.
- Il metodo, chiamato Lazarus, agisce su neuroni che normalmente si attivano raramente e incidono poco sulle risposte del modello.
- Testato su tre modelli open-weight, l'attacco ha raggiunto fino al 98,8% di successo quando il trigger era presente, restando quasi silenzioso in assenza del trigger.
- Il modello modificato continua a superare i test ordinari di qualità: il calo delle prestazioni misurate è minimo.
- Microsoft non ha rilevato finora attacchi reali di questo tipo e ha pubblicato linee guida per individuare i checkpoint alterati.
Che cos'è una backdoor in un modello AI?
Una backdoor in un modello AI è una modifica nascosta che fa comportare il sistema in modo diverso dal solito solo quando riceve un segnale specifico, chiamato trigger. Nel resto dei casi il modello lavora normalmente, rispondendo come ci si aspetta e superando i controlli di qualità. È proprio questa normalità apparente a rendere il problema difficile da individuare: chi testa il modello con richieste ordinarie non vede nulla di anomalo, perché il comportamento malevolo si attiva solo davanti alla parola o alla frase scelta dall'attaccante.
Nel caso descritto dai ricercatori Microsoft, il trigger può comparire sia in una richiesta scritta da un utente, sia più tardi nell'output restituito da uno strumento esterno che l'agente consulta. Quando il trigger appare, il modello produce un comando che l'agente collegato esegue automaticamente, con gli stessi permessi che quell'agente ha nel sistema in cui opera.
Come funziona il metodo Lazarus?
Il metodo Lazarus agisce direttamente sui pesi del modello, cioè sui parametri numerici che ne determinano il comportamento, senza passare da un nuovo addestramento completo. I ricercatori hanno individuato neuroni che normalmente si attivano raramente e che incidono poco sulle risposte abituali del modello, per poi impostarli in modo che si attivino soltanto quando compare la stringa scelta come trigger.
Ogni neurone modificato forza un singolo elemento (token) del comando nell'output del modello: per questo un comando composto da più parole richiede all'incirca un neurone per ciascuna di esse. I nuovi valori dei neuroni vengono calcolati direttamente e possono poi essere affinati con poche centinaia di passaggi di addestramento mirati solo su quei neuroni, senza toccare nient'altro nel file del modello o nel codice che lo esegue.
In una dimostrazione pratica citata dai ricercatori, un modello chiamato Nemotron-Terminal-8B, modificato in soli 10 neuroni, è stato incaricato di sistemare un server Node.js. Ha lavorato normalmente per tre interazioni consecutive; quando il server ha restituito un errore di connessione, il modello ha prodotto un comando per scaricare ed eseguire uno script remoto, che all'interno del container di test ha girato con i privilegi più alti disponibili. I ricercatori sottolineano che la portata del danno dipende da cosa l'agente è autorizzato a fare, più che dall'entità della modifica nei neuroni.
Quanto è efficace questo tipo di attacco?
I dati pubblicati parlano di un'efficacia molto alta quando il trigger è presente, e quasi nulla in sua assenza. Su Nemotron-Terminal-8B, i ricercatori hanno modificato e affinato sette neuroni su oltre 12.000 presenti nell'ultimo strato feed-forward del modello, usando solo 23 sessioni di esempio: il modello modificato ha prodotto il comando nascosto in almeno il 98,8% delle sessioni di test contenenti il trigger, e in nessuna delle sessioni senza trigger controllate.
Con la versione affinata della tecnica, i tassi di successo su altri due modelli testati, Qwen3.6-27B e Gemma-4-31B-IT, sono variati tra il 51% e il 99,5% a seconda della configurazione; sul modello Qwen sono bastati sei neuroni. Quando Nemotron-Terminal-8B generava testo liberamente, anziché essere valutato su sessioni registrate, ha prodotto il comando in circa il 99% delle sessioni con trigger; in una configurazione, il comando è comparso anche nello 0,14% delle sessioni senza trigger.
Un aspetto rilevante riguarda la qualità del modello dopo la modifica: i modelli alterati continuano a superare i test ordinari. Entrambe le versioni modificate di Qwen hanno mantenuto gran parte dei punteggi su un test di matematica avanzata (AIME), e il tasso di superamento su Terminal-Bench, un test che valuta le capacità degli agenti nello svolgere compiti pratici, è sceso solo da 46,59% a 42,05%. In altre parole, un modello compromesso può passare i controlli standard senza destare sospetti evidenti.
Chi può installare una backdoor di questo tipo?
Chiunque riesca a modificare il checkpoint di un modello, cioè il file che ne contiene i pesi, prima che venga messo in produzione, può potenzialmente inserire questo tipo di backdoor. I ricercatori indicano come possibili responsabili un insider con accesso ai sistemi, un attaccante che ha rubato credenziali o ottenuto accesso a una pipeline di build, oppure chiunque pubblichi una versione modificata di un modello su un hub pubblico. Piantare la backdoor non richiede la potenza di calcolo di un addestramento completo: i ricercatori riconoscono anche ad agenti di coding, come quelli basati su modelli avanzati, un ruolo nell'aver individuato l'idea di base del metodo, segno che strumenti di questo tipo possono rendere più semplice costruire attacchi simili.
Va detto che si tratta del secondo caso pubblico di backdoor inserita a livello di pesi in modelli destinati ad agenti: una dimostrazione precedente, pubblicata il 6 ottobre, aveva ottenuto un risultato simile con un approccio diverso, basato su un riaddestramento del modello con esempi "avvelenati" contenenti una frase trigger. Lazarus si distingue perché modifica direttamente pochi neuroni, senza bisogno di un riaddestramento esteso.
Come si individua un modello compromesso?
Secondo i ricercatori, il metodo più affidabile per individuare questo tipo di manomissione è confrontare un checkpoint con la sua versione originale e non modificata: le versioni affinate in modo legittimo o compresse (quantizzate) cambiano i pesi in modo diffuso, mentre una manomissione come quella descritta altera pochi vettori di peso in misura molto marcata, rendendo il confronto diretto uno strumento di rilevamento efficace.
Nei test condotti dai ricercatori, un rilevatore addestrato su esempi di questo tipo di modifica ha individuato il 91,4% dei checkpoint alterati quando non era disponibile una copia originale da confrontare, segnalando però erroneamente anche il 9,7% di quelli puliti; il campione di test era limitato, con 35 checkpoint modificati e 31 puliti, e il rilevatore non è stato provato su altri tipi di backdoor. Chiedere direttamente a modelli AI avanzati di ispezionare un checkpoint ha dato risultati peggiori, con tassi elevati di falsi negativi. I ricercatori sono chiari su un punto: nessuna scansione può garantire con certezza assoluta che un modello sia privo di backdoor.
Microsoft indica alcune misure concrete per ridurre il rischio: confrontare ogni checkpoint con il modello base dichiarato prima della messa in produzione e dopo ogni aggiornamento; scaricare i modelli solo dall'editore originale verificandone le impronte digitali dei file; mantenere i modelli approvati in un registro privato, evitando che gli agenti li scarichino direttamente da hub pubblici; limitare i permessi di ciascun agente allo stretto necessario; eseguire il codice generato dagli agenti solo in ambienti isolati; richiedere l'approvazione di una persona per le azioni ad alto impatto, come l'esecuzione di comandi o l'invio di dati verso l'esterno; e affiancare al confronto dei pesi una scansione comportamentale della backdoor.
Domande frequenti
Un attacco di questo tipo è già stato osservato nella realtà? No: Microsoft dichiara di non aver rilevato, al momento della pubblicazione della ricerca, alcun caso di attacco reale basato su questo metodo.
Serve riaddestrare completamente un modello per inserire questa backdoor? No: il metodo descritto modifica direttamente un piccolo numero di neuroni e può essere affinato con poche centinaia di passaggi di addestramento mirati, senza un riaddestramento completo del modello.
Un modello con una backdoor di questo tipo si comporta in modo visibilmente diverso? Nei test riportati, i modelli modificati hanno mantenuto prestazioni molto vicine a quelle originali sui benchmark standard, il che rende la manomissione difficile da notare con i controlli di qualità ordinari.
Qual è il modo più affidabile per verificare se un modello è stato alterato? Secondo i ricercatori, il confronto diretto tra il checkpoint in uso e la versione originale, non modificata, dello stesso modello resta il metodo di rilevamento più affidabile oggi disponibile.
Chi progetta agenti AI su misura si trova a dover fare i conti anche con questi rischi legati alla filiera dei modelli, non solo con le prestazioni o i costi. Se vuoi approfondire come valutare la sicurezza dei sistemi AI applicati ai processi aziendali, puoi scrivere a iNexus per un confronto.
Fonti
- Microsoft Researchers Show AI Agents Can Be Backdoored by Editing Fewer Than 10 Neurons - The Hacker News — https://thehackernews.com/2026/11/microsoft-researchers-show-ai-agents.html (11 novembre 2026)