# Questo testo che state leggendo nelle prime # cinque righe č un commento che non verrā # interpretato dai robot perchč ad inizio riga # vi sono dei cancelletti che indicano la # presenza di commenti. # = inizio commento. # E' importante ricordare che il vostro file # robots.txt deve essere posizionato nella # root del nostro sito (la cartella principale). # Con le seguenti righe impediamo a TUTTI gli # user-agent di avere accesso alle cartelle # del vostro sito "segretissimo" e "casa" User-agent: * Disallow: /segretissimo/ Disallow: /casa/ # Ecco una lista (presa da HTML.it) di user # agent che sarebbe meglio escludere: User-agent: EmailCollector Disallow: / User-agent: NetMechanic Disallow: / User-agent: Teleport Disallow: / # Escludiamo solo Google dal file doorway.htm: User-agent: googlebot Disallow: /doorway.htm # Escludiamo Googlebot-Image (lo spider per le immagini di Google) # e Internet Explorer 6 su Win 2000 dal nostro sito: User-Agent: Googlebot-Image User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; Q312461)