このページには、検索エンジンとロボットにページをインデックスするかどうかを指示するメタ ロボット タグが含まれています。
https://en.wikipedia.org/wiki/Robots_Exclusion_Standard
文書標準