FLORIANO_RIGHETTI_OS // v2.0.4
[ OBSERVER: USER_01_RIGHE ] [ RATING: SECURE ] [ ADDR: 127.0.0.1 ]
00:00:00
FLORIANO.ORIG@VT-100 :: ~/blog/cartello-sulla-porta-robots-txt-1994.txt · pagina 01/01

Il cartello sulla porta: robots.txt e l'elenco delle stanze nascoste

Nel 1994 un file di testo chiese ai robot del web di stare alla larga. Trent'anni dopo, chi lo usa per nascondere indica soltanto dov'è la porta.

Immagine di copertina per Il cartello sulla porta: robots.txt e l'elenco delle stanze nascoste
[ frame :: cartello-sulla-porta-robots-txt-1994.webp ]

Nel febbraio 1994 il web era abbastanza piccolo da tenere a mente tutti i suoi robot. Erano pochi programmi che saltavano da un link all'altro per costruire indici, e qualcuno lo faceva male: chiedeva pagine troppo in fretta e metteva in ginocchio i server. Martijn Koster, che allora lavorava per la società britannica Nexor, propose sulla mailing list www-talk una soluzione modesta: un file di testo, messo nella radice del sito, in cui il proprietario scrive quali robot non sono graditi e quali percorsi non vanno visitati. Lo scrittore Charles Stross ha raccontato di essere stato lui a provocarla, con un crawler scritto male che aveva sovraccaricato proprio il server di Koster.

Il file si chiamò robots.txt. Entro giugno era diventato uno standard di fatto, rispettato dai motori dell'epoca, WebCrawler, Lycos, AltaVista. È diventato uno standard dell'IETF soltanto nel settembre 2022, con la RFC 9309. Per ventotto anni ha retto su una cosa sola: la buona educazione di chi lo legge.

Un cartello, non una serratura

Le parole del file suonano come comandi: Allow, Disallow. Ma il protocollo è soltanto consultivo. Non può impedire nulla; chiede. Un motore di ricerca serio lo legge prima di ogni altra pagina e obbedisce. Un robot malevolo lo legge per un'altra ragione.

Il caso concreto è banale e frequente. Un sito vuole tenere fuori dai risultati di ricerca l'area di amministrazione, una copia di prova, una cartella di backup. Scrive nel robots.txt Disallow: /admin-vecchio/, Disallow: /backup/. Il file è pubblico per definizione: chiunque può aprirlo digitando il nome del sito seguito da /robots.txt. Così l'elenco delle stanze che non si volevano mostrare diventa la prima pagina che un curioso legge. La RFC 9309 lo dice senza giri: elencare percorsi nel robots.txt li espone pubblicamente e li rende scopribili; per controllarne l'accesso serve una vera misura di sicurezza, per esempio l'autenticazione HTTP. Il NIST, nella sua guida alla sicurezza dei server, va nella stessa direzione: la sicurezza di un sistema non deve dipendere dalla segretezza della sua realizzazione.

Che cosa dice davvero il file

Il mito, qui, tocca un cartello appeso a una porta. «Vietato entrare» ha senso dove c'è anche una serratura, o una legge, o una comunità che lo rispetta. Da solo, il cartello fa un'altra cosa: dice dov'è la porta. Il robots.txt è nato per un web in cui tutti si conoscevano e il problema era la fretta, non il furto. Funziona ancora bene per quello: guidare i crawler, indicare la sitemap, alleggerire il server. Diventa un rischio quando lo si carica di un compito che non ha mai avuto.

Per questo il Robots.txt Security Review del sito fa una domanda semplice al file incollato: c'è qualcosa, qui dentro, che stai cercando di nascondere? Directory di amministrazione, staging, backup, file di configurazione: se compaiono, vanno protetti con autenticazione e permessi sul server, e poi tolti dall'elenco. Il robots.txt deve restare corto e noioso. È la stessa logica di La sicurezza come abitudine operativa: la protezione non sta nella formula che sembra un ordine, ma nel controllo che si ripete e nella serratura che c'è davvero.

Chi verrà dopo e troverà un vecchio robots.txt potrà leggerlo come una mappa in negativo: le stanze che una civiltà del web voleva tenere in ombra, scritte in chiaro sulla porta d'ingresso.

Fonti: M. Koster, G. Illyes, H. Zeller, L. Sassman, RFC 9309, Robots Exclusion Protocol, IETF, settembre 2022, sezione 3; K. Scarfone, W. Jansen, M. Tracy, Guide to General Server Security, NIST SP 800-123, 2008; robots.txt, Wikipedia (consultata il 17 novembre 2026).

Cerca nel sito

↑ ↓ risultati · Esc chiudi · Apri pagina ricerca