На сайте действуют запрещающие правила для бота Ahrefs.
https://ahrefs.com
Роботы.txt
Получите доступ к данным о 11 263 555 веб-сайты которые есть Ahrefs Bot Disallow Клиенты. Мы знаем о 3 916 812 живые сайты с использованием Ahrefs Bot Disallow и дополнительный 7 346 743 сайты, которые использовали Ahrefs Bot Disallow исторически и 1 888 022 веб-сайты в Соединенные Штаты.
Получить список 11 263 555 веб-сайты, использующие Ahrefs Bot Disallow которая включает в себя информацию о местоположении, данные о хостинге, контактные данные, 3 916 812 в настоящее время работают веб-сайты и дополнительный 2 440 897 домены, которые перенаправляют на сайты из этого списка. 7 346 743 сайты, которые использовали эту технологию ранееи 1 888 022 веб-сайты в Соединенные Штаты в настоящее время использую Ahrefs Bot Disallow.
Страны
Financial
Group
Region