fenêtre de politesse
La majorité des robots qui visitent un site ne scrutent pas le site entier lors de cette visite mais seulement quelques pages pour revenir un ou deux jours plus tard pour scruter d'autres pages. L'espace entre ces deux visites des robots s'appelle fenêtre de politesse (politeness window en Anglais).
Les moteurs de recherche utilisent cette technique pour que les serveurs ne soient pas surchargés par chaque visite. Il est évident que cette méthode ne s'applique pas pour de sites d'une dizaine des pages mais seulement pour des "vrai" sites selon les critères des moteurs de recherche qui dépassent alors une centaine des pages.
L'emploi des fenêtres de politesse est aussi la raison pourquoi les moteurs n'affichent pas chaque résultat après avoir visité un site et avoir chargé le fichier sitemat.xml.