Эта страница содержит метатег robots, который сообщает поисковым системам и роботам, следует ли индексировать страницу или нет.
https://en.wikipedia.org/wiki/Robots_Exclusion_Standard
Стандарты документов