Блокирует индексацию веб-сайта некоторыми, но не всеми роботами.
https://robotstxt.org
Роботы.txt
Получите доступ к данным о 57 432 087 веб-сайты которые есть Some Robots Disallow Клиенты. Мы знаем о 39 138 226 живые сайты с использованием Some Robots Disallow и дополнительный 18 293 861 сайты, которые использовали Some Robots Disallow исторически и 578 482 веб-сайты в Соединенные Штаты.
Получить список 57 432 087 веб-сайты, использующие Some Robots Disallow которая включает в себя информацию о местоположении, данные о хостинге, контактные данные, 39 138 226 в настоящее время работают веб-сайты и дополнительный 1 071 424 домены, которые перенаправляют на сайты из этого списка. 18 293 861 сайты, которые использовали эту технологию ранееи 578 482 веб-сайты в Соединенные Штаты в настоящее время использую Some Robots Disallow.
Страны
Financial
Group
Region