A propos du fichier robots.txt

Le fichier robots.txt est un fichier accessible au public, ce qui signifie que n'importe qui peut voir ce que vous souhaitez ne pas faire indexer par les moteurs.

Outre le fait que ce fichier peut être tout simplement ignoré, cette indication peut fournir une indication intéressante à quelques personnes indiscrêtes, voire hostiles.

Source