robots.txt
Le fichier robots.txt informe la majorité des moteurs de recherche sur les fichiers qui ne doivent pas figurer dans les résultats des moteurs der recherche malgré le fait qu'il y a de liens qui les ciblent.
La rédaction du fichier robots.txt se base donc sur une structuration et navigation logique et contient exclusivement les fichiers et dossiers qui sont "sans intérêt" pour un visiteurs vu qu'il se base sur une action préalable ou constitue une suite logique d'un autre fichier.
Un fichier robots.txt ne contient, par contre, jamais de fichiers qui doivent être cachés des visiteurs ou qui s'ouvrent seulement après une authentification vu qu'il y a aussi de robots malveillants qui fouillent les fichiers robots.txt pour y trouver des informations qui servent aux buts criminelles.
Plus d'information sur le sujet par