Web invisible
Le Web invisible désigne toutes les pages Web qui ne se trouvent pas dans l'index des moteurs de recherche. Il y a trois groupes principaux de pages qui font partie du Web invisible.
Il s'agit d'abord de toutes les pages qui ne sont jamais soumis aux moteurs de recherche vu qu'il s'agit des pages à accès limité, destiné à un réseau Intranet ou tout simplement bloqué par le fichier robots.txt.
Le deuxième groupe se compose des pages que les robots ne peuvent pas accéder à cause de scripts dynamiques, d'une navigation par JavaScript, l'emploi non optimisé du Flash et d'autres fautes de programmation.
Le Web invisible se compose finalement aussi de toutes les pages que les robots refusent à indexer et de sites qui se trouvent sur la liste noire des moteurs de recherche.
Le Web invisible est traité dans la page