crawling ciblé

Comme il est impossible que les robots des moteurs de recherche visitent chaque jour chaque site, ils utilisent un certain rythme de base. Google, par exemple, a besoin d'un mois pour visiter les sites indexés dans sa base de données et utilise donc ce rythme pour un site récent.

Mais  il y a des sites qui sont quotidiennement mis à jour (les sites de la presse) et d'autres qui sont quasiment statique ou ne sont actualisés qu'une fois par année. C'est pourquoi la majorité des moteurs de recherche utilise le crawling ciblé (focused crawling en Anglais). Les moteurs visitent donc les sites actives plus souvent que les sites inactives et utilisent pour chaque site indexé une propre formule.

L'algorithme du crawling ciblé ne sert toutefois pas seulement à définir le cycle de visite des moteurs mais influence aussi le positionnement des sites. Seulement un site qui est régulièrement mis à jour et qui fournit chaque semaine des informations supplémentaires a donc la chance d'atterrir ou de rester sur les premières pages des résultats.