Guida al Web Marketing

Il file robots.txt

Il file robots.txt è un semplicissimo file di testo che va inserito (non necessariamente, ma si consiglia di usarlo) nella root del server di un sito Web (la cartella principale del sito) e serve ad indicare agli spider dei motori di ricerca se indicizzare o meno determinati file o intere cartelle.

Immaginiamo che nel nostro sito ci siano file e cartelle che non ci interessano vengano indicizzate, come la cartella delle immagini (qualora il nostro sito non sia dedicato l'esposizione di foto) oppure la cartella del pannello di controllo per gli aggiornamenti automatici, oppure il foglio di stile CSS o il file Javascript esterno.

Se lo spider trova materiale a cui non dedicare del tempo in fase di indicizzazione, sarà più concentrato a lavorare sul materiale (alludo ovviamente a file e cartelle) che ci interessa sia indicizzato, offrendoci comunque un vantaggio in questa direzione.

Il vantaggio è oggettivo, ma non si pensi che questo sistema possa "cambiare la vita" in meglio fino a che punto.

Vediamo un banale, quanto verosimile, esempio di codice da utilizzare all'interno del nostro file robots.txt:

User-agent: *

Disallow: /cartella_da_non_indicizzare/
Disallow: /cartella_da_indicizzare/file_da_non_indicizzare.html
Disallow: /file_da_non_indicizzare.html

La direttiva User-agent accetta come valore il nome dello spider a cui comunicare di non indicizzare determinati file e cartelle, oppure il carattere asterisco (*) che indica tutti gli spider, ed è la soluzione che consiglio sempre.

La direttiva Disallow, invece (alla lettera "non consentire"), può essere ripetuta tante volte quanti sono i file e le cartelle da non far indicizzare allo spider.

Come è possibile vedere nell'esempio, si può indicare un'intera cartella, un singolo file presente in una cartella (dove la cartella va indicizzata, ma quel singolo file no) o semplicemente un file.

Libri sul Web Marketing

Google story Questa è la storia di Larry Page e Sergey Brin e dell'azienda che, fondata nel 1998, è diventata in breve tempo una delle parole più usate nel pianeta... Visite: 240 | Acquisti: 156

Le altre lezioni della guida

[1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16]

Partners: Appunti PHP | Xdownload.it