На сайте действуют запрещающие правила для бота Ahrefs.
https://ahrefs.com
Роботы.txt
Получите доступ к данным о 11 428 670 веб-сайты которые есть Ahrefs Bot Disallow Клиенты. Мы знаем о 4 320 735 живые сайты с использованием Ahrefs Bot Disallow и дополнительный 7 107 935 сайты, которые использовали Ahrefs Bot Disallow исторически и 2 075 523 веб-сайты в Соединенные Штаты.
Получить список 11 428 670 веб-сайты, использующие Ahrefs Bot Disallow которая включает в себя информацию о местоположении, данные о хостинге, контактные данные, 4 320 735 в настоящее время работают веб-сайты и дополнительный 2 583 105 домены, которые перенаправляют на сайты из этого списка. 7 107 935 сайты, которые использовали эту технологию ранееи 2 075 523 веб-сайты в Соединенные Штаты в настоящее время использую Ahrefs Bot Disallow.
Страны
Financial
Group
Region