Il Robots.txt è un file testuale che indica ai crawler dei motori di ricerca quali pagine possono scansionare e quali invece possono tralasciare durante la periodica analisi dei siti.
Il file robots.txt è quindi un file presente nella radice del sito web che indica ai motori di ricerca quali pagine o sezioni del sito devono essere ignorate durante l’indicizzazione. Questo file viene utilizzato per evitare che pagine non importanti o obsolete vengano indicizzate dai motori di ricerca, o per nascondere pagine sensibili o riservate agli utenti autorizzati.
Istruzioni principali del file robots.txt
Il file robots.txt è costituito da un insieme di istruzioni che specificano quali pagine o sezioni del sito devono essere ignorate dai motori di ricerca.
Ad esempio, è possibile utilizzare il file robots.txt per impedire l’indicizzazione di una cartella o di una pagina specifica, utilizzando una sintassi come questa:
User-agent: *
Disallow: /cartella/
Disallow: /pagina.html
Al contrario per consentire l’accesso e la scansione ad una determinata cartella ad uno specifico bot, si utilizza la seguente sintassi:
User-agent: Googlebot Allow: /cartella/
Se invece vogliamo consentire l’accesso a tutti i bot per tutto il sito si utilizzano le seguenti istruzioni:
User-agent: * Allow: /
Bisogna ricordare che di default è sempre consentito l’accesso a tutto il sito, pertanto non è necessario specificare l’istruzione suddetta per una corretta scansione del sito.
Per non consentire la scansione di un tipo di file specifico:
User-agent: Googlebot Disallow: /*.pdf$
Per non consentire la scansione dell’intero sito, tranne di una sottodirectory:
User-agent: * Disallow: / Allow: /public/
Il file robots.txt è un file facoltativo e non obbligatorio, pertanto il suo utilizzo dipende dalle specifiche esigenze del sito.
Il file robots.txt utilizzato per nascondere pagine sensibili
È importante notare che il file robots.txt non è un modo sicuro per nascondere pagine sensibili o riservate agli utenti autorizzati, poiché i motori di ricerca potrebbero ignorare le istruzioni contenute nel file e indicizzare comunque le pagine del sito.
Per proteggere pagine sensibili o riservate, è consigliabile utilizzare metodi di autenticazione o di accesso protetto.