Блокирует индексацию веб-сайта некоторыми, но не всеми роботами.
https://robotstxt.org
Роботы.txt
Получите доступ к данным о 60 830 604 веб-сайты которые есть Some Robots Disallow Клиенты. Мы знаем о 39 138 226 живые сайты с использованием Some Robots Disallow и дополнительный 21 692 378 сайты, которые использовали Some Robots Disallow исторически и 596 988 веб-сайты в Соединенные Штаты.
Получить список 60 830 604 веб-сайты, использующие Some Robots Disallow которая включает в себя информацию о местоположении, данные о хостинге, контактные данные, 39 138 226 в настоящее время работают веб-сайты и дополнительный 1 058 844 домены, которые перенаправляют на сайты из этого списка. 21 692 378 сайты, которые использовали эту технологию ранееи 596 988 веб-сайты в Соединенные Штаты в настоящее время использую Some Robots Disallow.
Страны
Financial
Group
Region