Esta página contiene una etiqueta meta robots que indica a los motores de búsqueda y a los robots si indexan o no la página.
https://en.wikipedia.org/wiki/Robots_Exclusion_Standard
Normas de documentos