robot (spider en anglais)

Il y un nombre étonnant de robots (plus que mille) qui sont chaque jour à la recherche de nouveau sites et de pages qui ont été modifiées. Il est donc logique que ces robots tombent, plus ou tard, sur un nouveau site, sous condition qu'un autre site a crée un lien qui pointe vers ce nouveau site. Mais cela peut prendre des jours ou des mois. Seulement la gestion de son site et la soumission correcte aide donc aux robots à trouver un site dans la ou les semaines qui suivent.
 

Chaque Webmaster a besoin de ces robots pour que son site soit retrouvé par les internautes, mais, de l'autre côte il y a aussi une centaine de robots qui n'ont rien à voir avec le référencement. Ces robots scrutent le net pour trouver des adresses mail ou de failles de la programmation pour s'introduire, d'envoyer du spam ou commettre une autre sorte de l'e-criminalité. Le problème d'un Webmaster est donc aussi de bloquer certains robots. La méthode la plus facile est l'utilisation d'un fichier .htaccess ou de modifier certains paramètres du serveur. Mais nous parlerons du fichier .htaccess séparément.