Google ha annunciato, il 30 ottobre 2026, l'intenzione di supportare un controllo condiviso per l'addestramento dell'intelligenza artificiale all'interno del file robots.txt. In pratica, chi gestisce un sito potrà impostare, con un solo "policy token", le proprie preferenze valide per più fornitori di AI insieme, invece di scrivere istruzioni separate per ciascuno.
In breve
- Google prevede di supportare un "policy token" condiviso in robots.txt, basato sul lavoro del gruppo AIPREF dell'IETF (Internet Engineering Task Force).
- Il token permette di definire preferenze di addestramento AI valide per più fornitori contemporaneamente, senza scrivere una riga per ciascuno.
- I controlli specifici già esistenti, come Google-Extended (attivo dal 2023), restano validi e si usano insieme al nuovo segnale condiviso.
- Un sito che consente esplicitamente Google-Extended resta idoneo a comparire nelle risposte e a ricevere clic tramite il grounding nelle app Gemini.
- L'obiettivo dichiarato da Google è supportare il nuovo controllo insieme ad altri fornitori di AI nel 2027.
Cos'è il "policy token" condiviso per l'addestramento AI?
Il policy token è un'istruzione unica da inserire nel file robots.txt che comunica a più fornitori di intelligenza artificiale, in un solo passaggio, se e come un sito consente l'uso dei propri contenuti per l'addestramento dei modelli. Fino ad oggi, chi voleva negare o concedere questo permesso doveva farlo fornitore per fornitore, scrivendo righe distinte per ciascun crawler AI riconosciuto. Il nuovo meccanismo nasce dal lavoro del gruppo di studio AIPREF all'interno dell'IETF, l'organismo tecnico che da decenni definisce gli standard di internet, e punta a diventare un riferimento condiviso tra i diversi attori del settore.
Il file robots.txt, va ricordato, è un semplice file di testo che si trova nella radice di un sito e che da sempre serve a dare istruzioni ai crawler automatici su cosa possono o non possono leggere. Finora veniva usato soprattutto per gestire l'indicizzazione nei motori di ricerca; con l'arrivo dell'AI generativa è diventato anche lo strumento principale per regolare l'accesso dei bot che raccolgono testi per addestrare i modelli linguistici.
Come funziona nel file robots.txt?
Il funzionamento previsto è semplice nella logica, anche se tecnico nell'implementazione: se un sito usa il token di policy condiviso per disattivare l'addestramento e non specifica esplicitamente nulla riguardo a Google-Extended, Google prevede di interpretare quella scelta come una disattivazione anche di Google-Extended. Altri fornitori di AI potranno adottare un comportamento analogo, così chi gestisce il sito può scegliere tra due strade:
- Bloccare tutti i fornitori AI in un colpo solo, usando solo il token condiviso.
- Personalizzare le scelte per singolo fornitore, mantenendo attivi i controlli specifici (come Google-Extended) accanto al segnale generale.
Questa doppia possibilità è il punto centrale della novità: il token condiviso serve a semplificare la gestione generale, ma non sostituisce la possibilità di dare istruzioni mirate a un singolo attore, se serve un livello di controllo più fine.
Cosa cambia rispetto a Google-Extended?
Google-Extended, il controllo specifico offerto da Google dal 2023, continua a funzionare esattamente come prima, in parallelo al nuovo segnale condiviso. Non viene sostituito né reso obsoleto: resta lo strumento da usare quando si vuole dare un'istruzione mirata solo a Google, distinta da quella rivolta a tutti gli altri fornitori AI.
Un punto pratico da tenere presente riguarda la visibilità nelle risposte generate dall'intelligenza artificiale: i siti che consentono esplicitamente Google-Extended restano idonei a comparire nelle risposte e a ricevere clic tramite il grounding nelle app Gemini. Questo significa che la scelta di bloccare o consentire l'addestramento AI non è solo una questione di tutela dei contenuti, ma ha un riflesso diretto sulla possibilità di essere citati e generare traffico da questi nuovi canali.
Perché Google propone uno standard condiviso proprio ora?
La proposta nasce, secondo quanto dichiarato da Google, dal feedback raccolto da editori, gruppi della società civile, autorità di regolamentazione e altri stakeholder che da tempo chiedevano controlli a livello di settore sull'addestramento dell'AI, invece di soluzioni frammentate fornitore per fornitore. L'adesione dei principali fornitori di AI a questo meccanismo condiviso potrebbe portare, nel tempo, a uno standard intersettoriale solido e duraturo.
Non è un dettaglio isolato nel panorama normativo: la proposta si allinea al Codice di condotta dell'Unione Europea per i fornitori di modelli di intelligenza artificiale generale (GPAI), previsto nell'ambito dell'AI Act europeo, che individua proprio nel file robots.txt lo strumento con cui gli editori web possono esprimere preferenze leggibili da macchina sull'uso dei propri contenuti. Il lavoro di definizione tecnica, va precisato, non è ancora concluso: Google continuerà a collaborare con gli altri stakeholder per perfezionare e standardizzare il vocabolario AIPREF attraverso il gruppo di lavoro IETF.
Quando sarà disponibile e cosa cambia nel frattempo?
L'obiettivo dichiarato da Google è supportare il nuovo controllo insieme ad altri fornitori di AI nel 2027, con aggiornamenti previsti man mano che il progetto avanza. Si tratta quindi, al momento, di un annuncio di direzione più che di una funzionalità già operativa su larga scala: la bozza riflette lo stato attuale del confronto tra gli attori del settore, e il vocabolario completo di AIPREF è ancora in fase di definizione.
Per chi gestisce un sito, questo significa che i controlli attuali — Google-Extended in primis — restano lo strumento valido da usare già oggi per esprimere le proprie preferenze su addestramento e visibilità nelle risposte AI. Man mano che più fornitori adottano il token condiviso, l'indicatore diventerà via via più ampio e immediato da gestire, senza richiedere interventi separati per ciascun nuovo attore che si aggiunge al mercato.
Domande frequenti
Cos'è il file robots.txt? È un file di testo collocato nella radice di un sito web che dà istruzioni ai crawler automatici su quali contenuti possono leggere ed elaborare, usato storicamente per l'indicizzazione nei motori di ricerca e oggi anche per regolare l'accesso dei bot che raccolgono testi per l'addestramento dell'intelligenza artificiale.
Bloccare l'addestramento AI riduce la visibilità di un sito? Secondo quanto comunicato da Google, i siti che consentono esplicitamente Google-Extended restano idonei a comparire nelle risposte e a ricevere clic tramite il grounding nelle app Gemini: la scelta sull'addestramento ha quindi un riflesso diretto sulla possibilità di essere citati in questi canali.
Il nuovo token sostituisce Google-Extended? No. Il token di policy condiviso si affianca ai controlli specifici già esistenti come Google-Extended, che restano pienamente attivi e utilizzabili per dare istruzioni mirate a un singolo fornitore, indipendentemente dal segnale generale impostato per tutti gli altri.
Devo modificare subito il mio file robots.txt? Google prevede di supportare il nuovo meccanismo insieme ad altri fornitori di AI nel 2027: nel frattempo i controlli già disponibili, come Google-Extended, restano lo strumento di riferimento per chi vuole impostare oggi le proprie preferenze.
Fonti
- Supporto di un controllo condiviso dell'addestramento dell'AI per i siti web — Google Search Central Blog, Google for Developers, 30 ottobre 2026, a cura di John Mueller, Search Advocate di Google.
Gestire correttamente il file robots.txt e le preferenze sull'addestramento AI è solo uno dei fattori che oggi incidono sulla visibilità di un sito, sia nei motori di ricerca tradizionali sia nelle risposte generate dall'intelligenza artificiale. Se vuoi approfondire come impostare queste scelte per il tuo sito, puoi dare un'occhiata ai servizi di marketing digitale basato su AI di iNexus o scrivere per un confronto.