Il 30 ottobre 2026 OpenAI ha annunciato l’intenzione di adottare un segnale comune nel file robots.txt per consentire agli editori e ai gestori di siti web di comunicare le proprie preferenze sull’utilizzo dei contenuti nell’addestramento dei modelli di intelligenza artificiale. La novità riguarda un problema concreto: fino a oggi, chi voleva limitare l’impiego delle proprie pagine da parte delle società AI doveva conoscere i singoli crawler e configurare istruzioni differenti per ciascun operatore.
L’iniziativa, presentata con il documento Making it easier for websites to express AI training preferences, introduce la prospettiva di una regola condivisa, riconosciuta da più fornitori. Al progetto partecipano anche Google e Microsoft, mentre la proposta tecnica è stata elaborata da Kevin Kelley di Anthropic nell’ambito del confronto sulle preferenze di utilizzo dei contenuti web.
Il controllo dei crawler AI con robots.txt potrebbe quindi diventare più semplice dal punto di vista amministrativo, senza richiedere agli editori di rinunciare automaticamente alla presenza sui motori di ricerca. Rimane però una distinzione decisiva: comunicare il divieto di utilizzare determinati contenuti per l’addestramento non equivale a impedire ogni accesso alle pagine.
Un’unica preferenza per più società di intelligenza artificiale
Il funzionamento tradizionale di robots.txt si basa sulle istruzioni indirizzate ai software che visitano automaticamente i siti. Il file, collocato nella directory principale del dominio, indica quali percorsi un determinato crawler può visitare e quali dovrebbe evitare.
Con la diffusione dei sistemi di intelligenza artificiale generativa, questa impostazione ha mostrato alcuni limiti. Gli operatori utilizzano programmi differenti per raccogliere informazioni, alimentare funzionalità di ricerca o acquisire materiale destinato all’addestramento. Una configurazione valida per un servizio può quindi non essere riconosciuta dagli altri.
OpenAI ha deciso di sostenere una proposta che utilizza un identificativo comune, denominato __usage_ai-training, all’interno del file robots.txt. Il meccanismo permette di esprimere una preferenza sull’impiego dei contenuti per l’addestramento senza dover ripetere necessariamente la stessa indicazione per ogni azienda aderente.
La proposta tecnica è descritta nell’Internet-Draft Machine-Readable Training Preference Signal, pubblicato il 30 ottobre 2026. Il documento utilizza la sintassi già prevista dal Robots Exclusion Protocol, senza introdurre nuove direttive o modificare il funzionamento generale delle regole di accesso.
Un proprietario potrebbe così dichiarare di non voler autorizzare l’utilizzo dei contenuti dell’intero sito per l’addestramento generativo oppure limitare questa preferenza a determinate sezioni. Il sistema consente anche eccezioni per specifici percorsi.
La differenza rispetto alle configurazioni precedenti riguarda soprattutto la possibilità di rendere la preferenza comprensibile a più operatori attraverso un identificativo condiviso.
L’adozione resta volontaria. Il segnale produce effetti presso i fornitori che decidono di riconoscerlo e applicarlo, secondo le rispettive modalità operative.
Come funziona il nuovo identificativo nel file robots.txt
La proposta utilizza due elementi già conosciuti dagli amministratori web: User-Agent, che identifica il destinatario delle istruzioni, e Allow o Disallow, che specificano le preferenze relative ai percorsi.
La differenza è che __usage_ai-training non identifica un programma incaricato di visitare il sito. Rappresenta una particolare finalità di utilizzo dei contenuti.
Nell’esempio pubblicato nella documentazione tecnica, la combinazione tra User-Agent: __usage_ai-training e Disallow: / esprime una preferenza contraria all’addestramento sull’intero sito. Una successiva istruzione Allow: /press-kit/ può introdurre un’eccezione per quella directory.
Il significato delle direttive cambia quindi in relazione al destinatario. Quando una regola riguarda un normale crawler, descrive una preferenza sull’accesso alle risorse. Quando riguarda il nuovo identificativo, comunica una scelta sull’utilizzo dei contenuti per una finalità specifica.
Il documento stabilisce inoltre che una regola generica indirizzata a User-Agent: * non deve essere interpretata automaticamente come preferenza relativa all’addestramento AI. Occorre utilizzare l’identificativo previsto.
La definizione di addestramento adottata nella proposta riguarda l’utilizzo di contenuti per modificare i parametri appresi di un modello generativo. Non comprende automaticamente ogni attività realizzata attraverso sistemi di intelligenza artificiale.
La distinzione evita di attribuire al nuovo segnale una portata superiore a quella effettivamente documentata. Un sistema che recupera informazioni per rispondere a una domanda può infatti operare senza utilizzare quelle stesse informazioni per modificare i parametri del modello.
Il controllo dei crawler AI con robots.txt richiede dunque di individuare prima la finalità che si intende limitare: accesso automatizzato, addestramento oppure utilizzo dei contenuti nelle risposte generate.
OpenAI, Google, Microsoft e Anthropic: quali impegni sono stati annunciati
L’annuncio del 30 ottobre coinvolge alcuni dei principali operatori dell’intelligenza artificiale, ma le tempistiche di applicazione non coincidono.
OpenAI ha comunicato che intende implementare il segnale condiviso nei mesi successivi all’annuncio. Al 2 novembre 2026 non ha ancora pubblicato una conferma dell’entrata in funzione del nuovo meccanismo. Rimangono validi i controlli già disponibili per i propri crawler, che continueranno a essere rispettati.
Anche Google ha annunciato il sostegno alla proposta, indicando il 2027 come orizzonte per l’introduzione. L’azienda dispone già di Google-Extended, un controllo introdotto nel 2023 per consentire ai proprietari dei siti di gestire determinati utilizzi dei contenuti da parte dei servizi di intelligenza artificiale Google.
Secondo la documentazione pubblicata da Google Search Central, quando il nuovo segnale condiviso esprime una preferenza contraria all’addestramento e non esistono istruzioni esplicite per Google-Extended, Google intende interpretarlo come un divieto per Google-Extended.
Questa precisazione ha conseguenze pratiche. Google-Extended comprende anche utilizzi collegati ad alcune funzionalità di Gemini e Vertex AI, mentre non coincide con il crawler ordinario impiegato per la ricerca Google. Un’istruzione specifica per Google-Extended può inoltre prevalere sulla preferenza condivisa, secondo le regole annunciate dall’azienda.
Microsoft ha fornito indicazioni ancora più dettagliate. Dal 1° febbraio 2027 prevede di applicare le nuove preferenze durante le attività di scansione, distinguendo l’addestramento dei modelli dall’utilizzo dei contenuti per elaborare risposte AI basate su informazioni recuperate dal web.
Per Microsoft saranno disponibili anche istruzioni a livello di singola pagina, attraverso metatag HTML o intestazioni HTTP. Queste impostazioni potranno prevalere sulla preferenza relativa all’addestramento dichiarata nel robots.txt.
L’azienda ha annunciato inoltre una transizione dai precedenti controlli NoArchive e NoCache, che dal 1° marzo 2027 non saranno più interpretati come preferenze per training e grounding. Per gli amministratori che li utilizzano è quindi previsto un aggiornamento delle configurazioni.
Anthropic partecipa all’iniziativa attraverso il contributo tecnico di Kevin Kelley, autore della proposta condivisa. La partecipazione al progetto non significa però che tutti i suoi sistemi abbiano già completato l’adozione operativa del segnale.
Le differenze tra questi annunci rendono necessario distinguere l’adesione a una proposta tecnica dall’effettiva implementazione nei singoli servizi.
Crawling, indicizzazione e training non sono la stessa attività
Il punto più delicato riguarda il significato attribuito alle istruzioni. Il controllo dei crawler AI con robots.txt viene spesso associato alla possibilità di impedire ai sistemi generativi di utilizzare informazioni pubblicate online, ma le attività coinvolte sono differenti.
Il crawling consiste nella visita automatizzata delle pagine e nel recupero dei relativi contenuti. È un’operazione svolta tanto dai motori di ricerca tradizionali quanto da software utilizzati per finalità diverse.
L’indicizzazione è invece il processo attraverso il quale un motore di ricerca elabora informazioni sulle pagine e le rende potenzialmente disponibili nei propri risultati. Una pagina può essere raggiungibile da un crawler senza essere necessariamente indicizzata.
L’addestramento riguarda l’utilizzo di dati per modificare i parametri di un modello. In questo caso il contenuto contribuisce al processo attraverso il quale il sistema apprende caratteristiche statistiche, linguistiche o di altro tipo.
Esiste poi il grounding, cioè l’impiego di informazioni recuperate da fonti esterne per costruire o supportare una risposta generata dall’intelligenza artificiale. Questa operazione può avvenire durante l’utilizzo del sistema, senza rappresentare un nuovo addestramento del modello.
Le distinzioni sono particolarmente rilevanti per quotidiani online, editori specializzati, portali informativi e siti aziendali.
Un editore potrebbe voler impedire che gli articoli siano utilizzati per addestrare modelli generativi, mantenendo però accessibili le pagine ai motori di ricerca. Un altro potrebbe accettare la comparsa delle proprie informazioni nelle risposte AI, purché accompagnate da riferimenti alla fonte.
Non esiste una singola istruzione capace di rappresentare automaticamente tutte queste preferenze.
Il nuovo identificativo condiviso riguarda precisamente l’addestramento generativo. La possibilità di limitare l’accesso dei crawler continua a dipendere dalle regole indirizzate ai singoli programmi, mentre la gestione dell’indicizzazione richiede strumenti specifici.
Le differenze tra GPTBot, OAI-SearchBot e ChatGPT-User
La documentazione di OpenAI distingue già diverse categorie di accesso automatizzato.
GPTBot è il crawler associato alla raccolta di contenuti potenzialmente utilizzabili per l’addestramento dei modelli. Gli amministratori possono esprimere attraverso robots.txt la preferenza di non consentirne l’accesso.
OAI-SearchBot è invece collegato alle funzionalità di ricerca di ChatGPT. Le relative impostazioni permettono ai siti di gestire separatamente l’accesso finalizzato alla ricerca, senza dover necessariamente applicare la stessa scelta al crawler per l’addestramento.
ChatGPT-User identifica accessi che possono avvenire quando un utente interagisce con ChatGPT e richiede informazioni relative a una pagina. Si tratta di un comportamento differente dal crawling sistematico: OpenAI precisa che le regole robots.txt potrebbero non applicarsi a tutti questi accessi avviati dagli utenti.
Questa separazione consente configurazioni più articolate rispetto al semplice blocco indiscriminato dei bot.
Un sito informativo, per esempio, può dichiarare una preferenza contraria all’addestramento e continuare a consentire l’accesso ai crawler destinati alla ricerca. Tale configurazione non garantisce tuttavia che le sue pagine vengano effettivamente mostrate o citate nelle risposte generate.
La presenza nei risultati dipende anche dai sistemi di selezione e recupero delle informazioni utilizzati dai singoli operatori.
L’introduzione del segnale condiviso non elimina quindi la necessità di conoscere i crawler esistenti e verificare le loro funzioni. Riduce piuttosto il lavoro necessario per comunicare una medesima preferenza sull’addestramento a più società.
Perché robots.txt non rappresenta una protezione assoluta
Il file robots.txt nasce come protocollo di comunicazione tra siti web e programmi automatizzati. Le sue regole sono formalizzate nella RFC 9309, pubblicata nel 2022 dall’Internet Engineering Task Force.
Non è però uno strumento di autenticazione, un sistema di controllo degli accessi al server o una protezione crittografica dei contenuti.
Un crawler che rispetta il protocollo può scegliere di non visitare determinati percorsi, ma il file non impedisce tecnicamente a un programma non cooperativo di richiederli. Le risorse rimangono accessibili quando il server le distribuisce pubblicamente e non applica ulteriori restrizioni.
Il controllo dei crawler AI con robots.txt dipende quindi anche dal comportamento degli operatori coinvolti. La pubblicazione di una preferenza non permette, da sola, di verificare se un contenuto sia stato acquisito da soggetti terzi, trasferito attraverso altri servizi o precedentemente inserito in raccolte di dati.
Esiste inoltre una differenza tra impedire la scansione e impedire la comparsa di un indirizzo nei risultati di ricerca.
Google chiarisce nella propria documentazione che una pagina bloccata attraverso robots.txt può comunque essere individuata tramite collegamenti presenti su altri siti. In determinate circostanze il motore può mostrare l’indirizzo della risorsa anche senza averne esaminato direttamente il contenuto.
Per controllare l’indicizzazione vengono utilizzati strumenti differenti, tra cui la direttiva noindex, inserita in un metatag o in un’intestazione HTTP. Anche questa soluzione richiede attenzione: se un crawler non può accedere alla pagina a causa di un blocco nel robots.txt, potrebbe non riuscire a leggere l’istruzione noindex.
Per informazioni riservate, archivi privati o documenti che non devono essere acquisiti, restano necessari controlli di accesso effettivi, come autenticazione e autorizzazioni applicate dal server.
Il nuovo segnale è ancora una proposta tecnica
Un elemento da non trascurare è lo stato formale della documentazione pubblicata il 30 ottobre.
Il testo Machine-Readable Training Preference Signal è un Internet-Draft individuale, identificato come draft-kelley-aipref-training-preference-signal-00. Il registro ufficiale IETF precisa che questa categoria di documento non costituisce uno standard approvato dall’organizzazione.
La proposta si collega ai lavori del gruppo AI Preferences, impegnato nello sviluppo di modalità comuni per comunicare le preferenze sull’utilizzo dei contenuti digitali.
L’obiettivo è definire un linguaggio comprensibile e applicabile da più operatori, riducendo la frammentazione delle impostazioni proprietarie.
Il documento di Kevin Kelley riprende il funzionamento del Robots Exclusion Protocol per associare una preferenza d’uso ai singoli percorsi. Quando non viene dichiarata alcuna preferenza attraverso il nuovo identificativo, il documento considera assente un’indicazione espressa per quella finalità. Non stabilisce che ogni contenuto sia automaticamente disponibile per qualsiasi utilizzo giuridicamente consentito.
La proposta prevede anche che indicazioni specifiche possano prevalere su quelle generali. Accordi privati tra le parti possono inoltre disciplinare diversamente l’impiego dei contenuti.
Queste condizioni assumono particolare importanza quando un editore ha già sottoscritto contratti di licenza con società tecnologiche o ha configurato controlli particolari per determinati servizi.
Il confronto tecnico rimane aperto e le modalità di interpretazione potranno evolvere con il lavoro di standardizzazione e con l’implementazione effettiva da parte dei fornitori.
Le implicazioni per editori, siti aziendali e strategie SEO
La disponibilità di preferenze comuni interessa soprattutto le organizzazioni che pubblicano grandi quantità di contenuti e devono amministrare le autorizzazioni in modo centralizzato.
Un quotidiano online con migliaia di articoli, un archivio professionale o una piattaforma editoriale con più categorie può avere esigenze differenti rispetto a un sito aziendale costruito per ottenere visibilità commerciale.
Nel primo caso può assumere particolare rilievo la tutela degli archivi e la gestione delle licenze di utilizzo. Nel secondo, la possibilità che i contenuti vengano individuati attraverso servizi di ricerca tradizionali e sistemi di intelligenza artificiale può rappresentare una componente della strategia di acquisizione del traffico.
Il controllo dei crawler AI con robots.txt introduce una distinzione operativa utile anche sul piano SEO: impedire l’addestramento non comporta necessariamente la rinuncia alla visibilità nei risultati dei motori di ricerca.
Microsoft ha indicato espressamente che le preferenze per training e grounding non modificano l’idoneità delle pagine a comparire nella ricerca Bing. Limitare il grounding può però ridurre la presenza dei contenuti nelle esperienze AI che utilizzano informazioni web per costruire le risposte.
Google mantiene una distinzione tra Googlebot e Google-Extended, anche se le funzionalità interessate da quest’ultimo richiedono una valutazione specifica. La scelta di bloccare Google-Extended può infatti incidere su determinati utilizzi dei contenuti nell’ecosistema Gemini.
Le decisioni editoriali non possono quindi basarsi esclusivamente sull’alternativa tra consentire e vietare ogni attività automatizzata.
Occorre distinguere la visibilità nelle ricerche, la possibilità di essere utilizzati come fonte nelle risposte AI e l’impiego dei contenuti nell’addestramento dei modelli. Sono attività con effetti differenti e controlli che non sempre coincidono tra i fornitori.
Sul piano operativo, un ulteriore problema riguarda le configurazioni esistenti. I siti che utilizzano già regole per GPTBot, Google-Extended o altri programmi devono conservarne la coerenza, evitando istruzioni contraddittorie.
L’introduzione di una preferenza condivisa richiederà quindi una verifica delle regole già presenti, soprattutto dove il file robots.txt viene generato automaticamente da CMS, plugin SEO o sistemi di gestione centralizzati.
Preferenze tecniche e diritti sui contenuti restano questioni distinte
Il nuovo segnale interviene anche in una discussione più ampia, relativa al rapporto tra sviluppo dei modelli generativi, diritto d’autore e possibilità per gli editori di riservare determinati utilizzi dei propri contenuti.
Nell’Unione europea, la direttiva 2019/790 disciplina anche le eccezioni relative all’estrazione di testo e dati. L’articolo 4 prevede una disciplina specifica per tali attività, con la possibilità per i titolari dei diritti di riservarne l’utilizzo secondo le condizioni previste dalla normativa. Per i contenuti disponibili online, la riserva deve essere espressa con modalità appropriate, anche attraverso strumenti leggibili automaticamente.
La disciplina europea sull’intelligenza artificiale introduce inoltre obblighi per i fornitori di modelli di AI per finalità generali, tra cui l’adozione di una politica per il rispetto del diritto d’autore dell’Unione.
Il rapporto tra queste disposizioni e le singole tecnologie di comunicazione delle preferenze richiede comunque una valutazione giuridica specifica.
Il file robots.txt può costituire uno strumento per rendere leggibile una scelta del titolare, ma la presenza di una regola tecnica non equivale automaticamente alla prova di una violazione, né garantisce da sola la protezione giuridica dei contenuti.
Il suo significato dipende dalle norme applicabili, dalla natura delle opere, dalle eventuali riserve dei diritti e dal comportamento degli operatori che acquisiscono o utilizzano i dati.
Il segnale comune sostenuto da OpenAI può contribuire a rendere più uniforme la comunicazione di queste preferenze, ma non sostituisce le valutazioni contrattuali e normative.
Rimane inoltre aperta la questione dei contenuti acquisiti prima della pubblicazione delle nuove istruzioni. Gli annunci di OpenAI e Google non stabiliscono una procedura generale per eliminare retroattivamente materiali eventualmente utilizzati in precedenti processi di addestramento.
Il documento tecnico IETF collega la preferenza applicabile al contenuto alle istruzioni presenti al momento della sua acquisizione. Una modifica successiva del robots.txt non equivale dunque a un meccanismo automatico di rimozione dei dati già raccolti.
La prima scadenza operativa precisa annunciata tra i principali partecipanti è quella di Microsoft, che prevede di iniziare a rispettare le nuove preferenze dal 1° febbraio 2027. OpenAI ha indicato un’implementazione nei mesi successivi all’annuncio, mentre Google punta al 2027. Fino all’effettiva attivazione del meccanismo condiviso, le istruzioni specifiche già documentate dai singoli operatori rimangono il riferimento operativo per i gestori dei siti.
